Η Cloudflare, o μεγάλος πάροχος υπηρεσιών υποδομής και συνδεσιμότητας του Διαδικτύου, ανακοίνωσε σήμερα πως πλέον θα αποκλείσει του AI Crawler από την πρόσβαση στο περιεχόμενο των σελίδων, χωρίς να έχουν άδεια από τους συντάκτες και χωρίς αποζημίωση. Οι περισσότερες σελίδες του διαδικτύου που έχουν σημαντική επισκεψιμότητα, χρησιμοποιούν το Cloudflare για να σερβίρουν στο κοινό τις σελίδες τους γρηγορότερα και με μεγαλύτερη ασφάλεια. Όποια σελίδα σέβεται τον εαυτό της, χρησιμοποιεί σίγουρα Cloudflare, τόσο για την ασφάλειά της από επιθέσεις, όσο και για την ασφάλεια των επισκεπτών της.
Από σήμερα, οι ιδιοκτήτες ιστοσελίδων θα μπορούν να επιλέξουν αν θα αφήνουν τους AI Crawlers να πάρουν το περιεχόμενο από τις σελίδες τους, για να το χρησιμοποιούν στα μοντέλα τεχνητής νοημοσύνης. Μάλιστα, η προεπιλεγμένη επιλογή θα είναι στο μπλοκάρισμα των AI Bots, ξεκινώντας από σήμερα, 1η Ιουλίου. Όμως η εταιρεία δε σταματάει εδώ, αφού προσφέρει και το πρόγραμμα Pay Per Crawl, που σημαίνει πως οι σελίδες θα μπορούν να χρεώνουν τις εταιρείες τεχνητής νοημοσύνης, για να πάρουν δεδομένα.
Το πρόγραμμα Pay Per Crawl θα επιτρέψει στους εκδότες να ορίσουν μια τιμή για τους scrapers τεχνητής νοημοσύνης (AI scrawlers) ώστε να έχουν πρόσβαση στο περιεχόμενό τους. Οι εταιρείες τεχνητής νοημοσύνης μπορούν στη συνέχεια να δουν τις τιμές και να επιλέξουν εάν θα εγγραφούν για το τέλος «Pay Per Crawl» ή θα απορρίψουν την χρέωση. Στην παρούσα φάση αυτό είναι διαθέσιμο μόνο σε πολύ μεγάλους εκδότες, όμως η Cloudflare θα το διαθέσει σε όλους, δηλώνοντας πως θα διασφαλίσει πως «οι εταιρείες τεχνητής νοημοσύνης μπορούν να χρησιμοποιούν ποιοτικό περιεχόμενο με τον σωστό τρόπο — με άδεια και αποζημίωση».
Η Cloudflare έχει προσθέσει μια παρόμοια επιλογή από το 2023μ για όσους είχαν πακέτο επί πληρωμή, αλλά αυτό ίσχυε μόνο για εκείνους που συμμορφώνονται με το robots αρχείο της σελίδας, που ελέγχει ποια bots επιτρέπεται να διαβάσουν το περιεχόμενο της σελίδας. Όμως, τα AI Bots συνήθως δε σέβονται το robots.txt και κλέβουν το περιεχόμενο των σελίδων χωρίς την έγκριση του χρήστη. Η Cloudflare άρχισε να επιτρέπει στους ιστότοπους να μπλοκάρουν “όλα” τα AI bots πέρυσι – είτε σέβονται το αρχείο robots.txt ενός ιστότοπου είτε όχι – και τώρα αυτή η ρύθμιση είναι ενεργοποιημένη από προεπιλογή για τους νέους πελάτες της Cloudflare. Μάλιστα, η εταιρεία έχει βρει έναν πολύ έξυπνο τρόπο να διαχειρίζεται τα πιο επίμονα AI Bots, στέλνοντάς τα σε έναν “AI Λαβύρινθο”, ώστε να μην χάνονται στην προσπάθειά τους να υποκλέψουν σελίδες χωρίς άδεια.
Αρκετοί μεγάλοι εκδότες και διαδικτυακές πλατφόρμες, όπως το Associated Press , το Atlantic , το Fortune , το Stack Overflow και το Quora, συμφωνούν με τους νέους περιορισμούς του Cloudflare για τα προγράμματα ανίχνευσης τεχνητής νοημοσύνης, καθώς οι ιστότοποι αντιμετωπίζουν ένα μέλλον όπου περισσότεροι άνθρωποι βρίσκουν πληροφορίες μέσω chatbots τεχνητής νοημοσύνης, αντί για μηχανές αναζήτησης. «Οι άνθρωποι εμπιστεύονται περισσότερο την τεχνητή νοημοσύνη τους τελευταίους έξι μήνες, πράγμα που σημαίνει ότι δεν διαβάζουν πρωτότυπο περιεχόμενο», δήλωσε ο Διευθύνων Σύμβουλος της Cloudflare, Matthew Prince.
Επιπλέον, η Cloudflare αναφέρει ότι συνεργάζεται με εταιρείες τεχνητής νοημοσύνης για να βοηθήσει στην επαλήθευση των crawlers τους και να τους επιτρέψει να «δηλώνουν με σαφήνεια τον σκοπό τους», όπως εάν χρησιμοποιούν το περιεχόμενο για εκπαίδευση, συμπερασματολογία ή αναζήτηση. Οι κάτοχοι ιστοσελίδων μπορούν στη συνέχεια να εξετάσουν αυτές τις πληροφορίες και να καθορίσουν τι τύπου crawlers θα περνάνε και τι θα κάνουν.
Οι μπαταρίες άνθρακα πυριτίου φτάνουν ήδη στα όριά τους! Apple και Samsung τις αγνοούν
«Το πρωτότυπο περιεχόμενο είναι αυτό που καθιστά το Διαδίκτυο μια από τις μεγαλύτερες εφευρέσεις του τελευταίου αιώνα και πρέπει να ενωθούμε για να το προστατεύσουμε», δήλωσε ο Prince στο δελτίο τύπου. «Οι ανιχνευτές τεχνητής νοημοσύνης (AI crawlers) συλλέγουν περιεχόμενο χωρίς όρια. Στόχος μας είναι να δώσουμε πίσω τη δύναμη στα χέρια των δημιουργών, βοηθώντας παράλληλα τις εταιρείες τεχνητής νοημοσύνης να καινοτομήσουν».
Για την ιστορία, το Techmaniacs χρησιμοποιεί το Cloudflare από τις πρώτες μέρες του και μάλιστα με συνδρομητικό πακέτο για την ασφάλεια τόσο της σελίδας όσο και των αναγνωστών μας. τις τελευταίες 24 ώρες είχαμε πάνω από 100.000 AI Crawlers να κλέβουν τα άρθρα μας και τα κείμενά μας για να απαντάνε με αυτά στα ερωτήματα που κάνει το κοινό. Αυτό είναι ξεκάθαρη λογοκλοπή, που αν συνεχίσει θα είναι και το τέλος του διαδικτύου σαν μέσο ανεξάρτητης ενημέρωσης. Ας ελπίσουμε πως η Cloudflare θα μπορέσει να σώσει το διαδίκτυο.
