Ένας χρήστης στην Αυστραλία ζήτησε από τον AI Agent που χρησιμοποιούσε να του κλείσει μια θέση σε μάθημα στο γυμναστήριο που πήγαινε. Όμως, το σύστημα κρατήσεων έδειχνε πως η τάξη ήταν πλήρης και έτσι ο AI Agent βρήκε κενό ασφαλείας, χάκαρε το σύστημα κρατήσεων ώστε να πετάξει έξω έναν άλλο πελάτη και να βάλει τον δικό του στην τάξη.
Πρόκειται για το πρώτο περιστατικό στην Αυστραλία που περιλαμβάνει αυτόνομη κυβερνοεπίθεση από κάποιον AI Agent και μάλιστα χωρίς να το γνωρίζει ο χρήστης, κάτι που τελευταία αρχίζει να γίνεται ιδιαίτερα τρομακτικό.
Πώς έγινε το συμβάν με το OpenClaw
Ο Andrew, ο χρήστης του AI Agent, ξύπνησε μια μέρα και αποφάσισε πως ήθελε να παρακολουθήσει ένα πρωινό πρόγραμμα στο γυμναστήριό του. Έτσι, ανέθεσε στο OpenClaw να κάνει την κράτηση, ώστε να μην χρειαστεί να την κάνει ο ίδιος. Πρόκειται για ένα λογισμικό για AI Agents, που αξιοποιεί το μοντέλο Claude της Anthropic.
Όταν ο AI Agent προσπάθησε να κάνει την κράτηση, είδε πως δεν υπήρχαν κενές θέσεις και πως θα έπρεπε να έχει γίνει κράτηση εβδομάδες πριν. Μάλιστα, ο Andrew ήταν τέταρτος στη λίστα αναμονής για τυχόν ακυρώσεις. Τότε ο χρήστης ρώτησε αν μπορεί να γίνει κάτι για να ανέβει πιο πάνω στη λίστα και να μπορέσει να κάνει κράτηση. Εκεί είναι που το εργαλείο τεχνητής νοημοσύνης πήρε τον έλεγχο και αντί να του δώσει απλές πληροφορίες, αποφάσισε να χακάρει το σύστημα κρατήσεων.
Η παράκαμψη του συστήματος και η ακύρωση άλλου χρήστη
Αρχικά είδε πως το σύστημα δεν έκανε κανέναν έλεγχο όταν ένας χρήστης προσπαθούσε να ακυρώσει την κράτηση για άλλον πελάτη. Έτσι, δοκίμασε να δει αν θα δουλέψει αυτό στον πρώτο χρήστη που ήταν στη λίστα αναμονής και η ακύρωση λειτούργησε χωρίς κανένα πρόβλημα. Έτσι, ο Andrew είδε πως ξαφνικά είχε βρεθεί τρίτος στη λίστα αναμονής.
Όταν μελέτησε τι ακριβώς είχε συμβεί, ζήτησε από τον AI Agent να αναιρέσει τις πράξεις του, όμως το σύστημα δεν μπόρεσε να επαναφέρει τον χρήστη που είχε ήδη βγει από τη λίστα.
Αυτό που τρομάζει είναι πως όταν δόθηκε μια απλή εντολή για μια κράτηση στο γυμναστήριο, η τεχνητή νοημοσύνη, όταν είδε πως δεν μπορεί να κάνει κάτι με τη νόμιμη οδό, πέρασε στην επίθεση και άρχισε να επηρεάζει άλλους ανθρώπους, χωρίς καμία απολύτως έγκριση.
Ένα καθημερινό σενάριο που διαφέρει από τα εργαστηριακά πειράματα
Προφανώς, αυτό το περιστατικό δεν είναι το ίδιο με τους AI Agents που έσπασαν τους περιορισμούς των εργαστηριακών δοκιμών και βγήκαν στο διαδίκτυο κάνοντας επιθέσεις σε ιστοσελίδες και άλλες εταιρείες. Είναι κάτι πολύ πιο απλό, που μάλιστα ζήτησε ένας απλός χρήστης και όχι κάποιος ερευνητής της Anthropic. Ο χρήστης ζήτησε απλά μια θέση στην τάξη του γυμναστηρίου και η τεχνητή νοημοσύνη, χωρίς κανέναν συναισθηματισμό, πέταξε εκτός λίστας έναν άλλο πελάτη, έτσι απλά.
Νομικά και ηθικά διλήμματα
Και εδώ έρχεται ένα τεράστιο ηθικό και πιθανότατα νομικό ζήτημα. Ο χρήστης δεν ζήτησε από τον AI Agent να προχωρήσει σε αυτή την κίνηση. Ζήτησε απλά μια θέση σε μια τάξη. Ποιος είναι λοιπόν υπεύθυνος για τα όσα έκανε ο AI Agent; Μην ξεχνάμε πως έκανε penetration testing στην εφαρμογή κρατήσεων και όταν βρήκε κενά ασφαλείας τα χρησιμοποίησε για να βλάψει κάποιον άλλον άνθρωπο, έστω και αν αυτό ήταν απλά να του ακυρώσει ένα μάθημα. Αυτό είναι ποινικά κολάσιμο και δεν είναι καθόλου ξεκάθαρο ποιος φταίει για αυτή τη συμπεριφορά.
Όταν η AI περνά από τα λόγια στις πράξεις
Εδώ όμως έρχεται το μεγάλο πρόβλημα. Όταν ένα σύστημα τεχνητής νοημοσύνης περνάει από τα λόγια στις πράξεις, χωρίς να ζητήσει την παραμικρή έγκριση για όσα κάνει, αρχίζει να υπάρχει πολύ σοβαρό πρόβλημα. Είναι άλλο το να δίνει απαντήσεις σε έναν χρήστη με περιεχόμενο που έχει αντιγράψει από το διαδίκτυο και άλλο το να χακάρει την εφαρμογή κρατήσεων μιας επιχείρησης για να κάνει όσα ζήτησε ο χρήστης.
Αυτό δείχνει πως αυτά τα συστήματα δεν έχουν σχεδιαστεί για να σέβονται τους νόμους και αυτό είναι που τα κάνει πιο επικίνδυνα και ταυτόχρονα πιο ευάλωτα στο να τα ξεγελάσει κάποιος για να κάνουν πραγματικά πολύ σοβαρότερες πράξεις από την αλλαγή ενός ραντεβού. Τι θα γινόταν αν ο χρήστης ήθελε να κλείσει ραντεβού σε νοσοκομείο για παράδειγμα και ο AI Agent άρχιζε να πετάει εκτός άλλα ραντεβού που μπορεί να ήταν και πιο σοβαρά;
Κάπου έχει χαθεί το μέτρο και για χάρη της ευκολίας, αρκετοί είναι διατεθειμένοι να θυσιάσουν τόσο τα προσωπικά τους δεδομένα, όσο και την ασφάλεια τη δική τους ή και άλλων. Πρέπει να υπάρξει επιτέλους μια ξεκάθαρη νομοθεσία και να γνωρίζουμε ποιοι είναι υπόλογοι για αυτές τις περιπτώσεις. Αρχικά, η κάθε εταιρεία θα πρέπει αν εξασφαλίσει πως τα συστήματά της δε θα μπορούν να προβούν σε παράνομες πράξεις, ότι και αν πει ο χρήστης. Σε περίπτωση που το κάνουν, θα πρέπει να υπάρχουν πολύ σοβαρές κυρώσεις. Όταν μιλάμε για μια τεχνολογία που πλέον μπαίνει κυριολεκτικά παντού, με το έτσι θέλω, πρέπει ο χρήστης και οι πολίτες να παραμένουν ασφαλείς σε κάθε περίπτωση.
Εσείς θα εμπιστευόσασταν έναν AI Agent για να διαχειρίζεται τα καθημερινά σας ραντεβού και τις υποχρεώσεις σας; Πείτε μας τη γνώμη σας στα σχόλια.
