Ερευνητές της Apple επιβεβαιώνουν αυτό που γράφουμε στα άρθρα μας εδώ και καιρό. Η τεχνητή νοημοσύνη έχει σοβαρά σφάλματα στην συλλογιστική της ικανότητα, ιδιαίτερα όταν πρόκειται για αριθμούς και μαθηματικά. Μπορεί η τεχνητή νοημοσύνη να προωθείται σαν κάτι πανέξυπνο, που θα ξεπερνάει τις ικανότητες του ανθρώπου, όμως οι ερευνητές έδειξαν πως δε θα τα πήγαινε τόσο καλά σε ένα απλό τεστ βασικών μαθηματικών προβλημάτων, δημοτικού σχολείου. Τελικά η τεχνητή νοημοσύνη είναι πιο χαζή από ότι πιστεύαμε.
Η πρόσφατα δημοσιευμένη μελέτη από έξι ερευνητές της Apple, έχει τίτλο “GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”. Σε αυτή αποδεικνύουν πως ο μαθηματικός λογισμός στα προηγμένα γλωσσικά μοντέλα, είναι ανακριβής και αρκετά εύθραυστος.
Οι ερευνητές έδωσαν στην τεχνητή νοημοσύνη το GSM8K, ένα υψηλής ποιότητας σύστημα δεδομένων, με διαφορετικά μαθηματικά προβλήματα του δημοτικού. Περιλαμβάνει 8.000 μαθηματικά προβλήματα για μαθητές. Στη συνέχεια, άλλαξαν ελαφρώς τη διατύπωση των προβλημάτων, χωρίς να αλλάξουν την λογική του προβλήματος. Ονόμασαν το νέο τεστ GSM Symbolic Test και με αυτό δοκίμασαν διάφορες υλοποιήσεις τεχνητής νοημοσύνης.
Στο πρώτο σετ προβλημάτων, παρατηρήθηκε μείωση της απόδοσης μεταξύ του 0.3% με 9.2%. Όμως στο δεύτερο σετ, που περιλάμβανε μια απάντηση που εντελώς άσχετη με την ερώτηση, παρατήρησαν καταστροφικά αποτελέσματα. Η τεχνητή νοημοσύνη απαντούσε λάθος σε ποσοστό 17.5% με 65.7%. Αυτό είναι κάτι που ακόμα και ένας αδιάβαστος μαθητής θα καταλάβαινε πως η απάντηση είναι άσχετη.
Για όσους έχουμε δοκιμάσει την τεχνητή νοημοσύνη από τις μεγάλες εταιρίες, το αποτέλεσμα είναι αναμενόμενο. Η AI έχει σοβαρό πρόβλημα στην κατανόηση απλών εργασιών που περιλαμβάνουν αριθμούς. Στην πραγματικότητα, η τεχνητή νοημοσύνη δεν λύνει σωστά μαθηματικά προβλήματα, αλλά αντίθετα χρησιμοποιεί απλή “αντιστοίχιση μοτίβων” για να μετατρέψει τις εντολές σε πράξεις χωρίς να κατανοήσει πραγματικά τι σημαίνουν όλα.
Ανανέωση με 5 ευρώ στο Cosmote What’s UP μέχρι 30/11
Οι δοκιμές έδειξαν πως η τεχνητή νοημοσύνη αποτυγχάνει σε μεγάλο βαθμό να λύσει απλά μαθηματικά προβλήματα, επειδή οι λέξεις είναι αρκετά συγκεχυμένες ή δεν ακολουθούν τα μοτίβα με τα οποία εκπαιδεύτηκαν. Αυτές οι δοκιμές δείχνουν πως η τεχνητή νοημοσύνη δεν έχει στην ουσία νοημοσύνη. Προσφέρει την ψευδαίσθηση της νοημοσύνης και του συλλογισμού, όταν απλά συγκεντρώνει δεδομένα με βάση το ερώτημα που της κάναμε.
Τι σημαίνει αυτό για την τεχνητή νοημοσύνη; Αυτό δείχνει πως οι εταιρίες απλά υπερβάλουν, χρησιμοποιώντας την τεχνητή νοημοσύνη για να προωθήσουν τα προϊόντα τους σαν κάτι εξωπραγματικό, που κανείς δε ζήτησε, ώστε να καλύψουν το γεγονός πως έχουν σταματήσει να καινοτομούν στην συσκευή.
Η μελέτη δημοσιεύθηκε στο ArXiv.
