Η OpenAI ανακοίνωσε ότι το ChatGPT μπορεί πλέον να απαντά σωστά σε μια ερώτηση που είχε γίνει σύμβολο των λαθών των AI chatbots: πόσα γράμματα «r» υπάρχουν στη λέξη «strawberry». Όμως η διόρθωση αυτή δεν σημαίνει ότι λύθηκε το βασικό πρόβλημα των μεγάλων γλωσσικών μοντέλων.
Το ζήτημα είναι τα λεγόμενα «σίγουρα» λάθη, δηλαδή οι περιπτώσεις όπου ένα chatbot δίνει λανθασμένη απάντηση με απόλυτη αυτοπεποίθηση. Ακόμη χειρότερα, όταν ο χρήστης επισημάνει το λάθος, το μοντέλο μπορεί να επιμείνει στην απάντησή του και να συνεχίσει να κάνει λάθος.
Το διάσημο λάθος με το strawberry
Για μεγάλο διάστημα, αν κάποιος ρωτούσε το ChatGPT πόσες φορές εμφανίζεται το γράμμα «r» στη λέξη «strawberry», το chatbot συχνά έδινε λάθος απάντηση. Σε αρκετές περιπτώσεις δεν αναγνώριζε ότι η λέξη περιέχει τρία «r».
Το συγκεκριμένο παράδειγμα έγινε γνωστό επειδή δείχνει ένα βασικό όριο των γλωσσικών μοντέλων. Παρότι μπορούν να γράφουν μεγάλα και πειστικά κείμενα, δυσκολεύονται με απλές εργασίες που απαιτούν ακριβή μέτρηση χαρακτήρων ή καθαρή λογική ανάλυση.
Η OpenAI πανηγύρισε τη διόρθωση
Η OpenAI δημοσίευσε στο X ότι, «επιτέλους», το ChatGPT μπορεί να απαντήσει σωστά στο ερώτημα με το «strawberry».
Πράγματι, η απάντηση φαίνεται πλέον να λειτουργεί σωστά, όπως και ένα άλλο γνωστό παράδειγμα όπου το μοντέλο πρότεινε σε χρήστη να περπατήσει μέχρι ένα πλυντήριο αυτοκινήτων που απείχε μόλις 50 μέτρα, παρότι ο χρήστης ήθελε να πλύνει το αυτοκίνητό του.
Ωστόσο, πολλοί χρήστες υποψιάζονται ότι πρόκειται περισσότερο για στοχευμένες διορθώσεις σε γνωστά παραδείγματα και όχι για πραγματική λύση του προβλήματος.
Το cranberry δείχνει ότι το πρόβλημα παραμένει
Κάτω από την ανάρτηση της OpenAI, αρκετοί χρήστες έδειξαν ότι το ChatGPT εξακολουθεί να κάνει παρόμοια λάθη σε άλλες λέξεις. Ένα χαρακτηριστικό παράδειγμα είναι η ερώτηση «πόσα r υπάρχουν στη λέξη cranberry».
Σε αυτή την περίπτωση, το chatbot φέρεται να απαντά ότι η λέξη «cranberry» έχει μόνο ένα «r», κάτι που είναι λανθασμένο. Η λέξη έχει δύο «r». Αυτό δείχνει ότι το μοντέλο μπορεί να έχει βελτιωθεί σε ένα διάσημο τεστ, αλλά δεν έχει απαραίτητα ξεπεράσει τη γενικότερη αδυναμία.
Το μεγάλο πρόβλημα με τα AI chatbots
Τα μεγάλα γλωσσικά μοντέλα δεν «ξέρουν» με τον ίδιο τρόπο που γνωρίζει ένας άνθρωπος, καθώς παράγουν απαντήσεις με βάση μοτίβα στη γλώσσα και στα δεδομένα εκπαίδευσης.
Αυτή η αυτοπεποίθηση είναι που κάνει τα λάθη τους πιο επικίνδυνα. Ένα απλό λάθος σε μια λέξη μπορεί να φαίνεται αστείο, αλλά η ίδια συμπεριφορά μπορεί να εμφανιστεί και σε πιο σοβαρά θέματα, όπως τεχνικές οδηγίες, νομικές πληροφορίες ή ιατρικές συμβουλές.
