Η Cloudflare θέλει να βάλει τέλος στην κλοπή περιεχομένου από εκδότες και δημιουργούς από τις εταιρείες τεχνητής νοημοσύνης. Ζητά από τις εταιρείες να διαχωρίσουν τα bot τους, σε αυτά που χρησιμοποιούνται για την εκπαίδευση των μοντέλων τους και σε αυτά που κάνουν crawl μια σελίδα για λόγους αναζήτησης. Έτσι, η Cloudflare από τις 15 Σεπτεμβρίου 2026, από προεπιλογή, θα μπλοκάρει όλους τους crawlers μεικτής χρήσης, σε σελίδες που φιλοξενούν διαφημίσεις και επιβιώνουν από αυτές.
Το πρόβλημα με τους crawlers μεικτής χρήσης
Μέχρι σήμερα πολλοί crawlers, και ιδιαίτερα της Google, συνδυάζονται σε έναν, τόσο για την αναζήτηση, όσο και για την εκπαίδευση της τεχνητής νοημοσύνης. Αυτό σημαίνει πως οι περισσότερες σελίδες δεν μπορούν να αποτρέψουν τις εταιρείες από το να δίνουν απαντήσεις στα μοντέλα, χωρίς να χάσουν τη δυνατότητα να εμφανίζονται στην αναζήτηση.
Το παράδειγμα του Techmaniacs: Εγώ μπορεί να μην θέλω τα άρθρα μου στο Techmaniacs να χρησιμοποιούνται για την εκπαίδευση της τεχνητής νοημοσύνης ή για να δίνονται απαντήσεις απευθείας στα chatbots. Αν μπλοκάρω τα bots, το Techmaniacs δεν θα εμφανίζεται στην αναζήτηση της Google.
Τώρα, η Cloudflare θα μπλοκάρει τους crawlers που κάνουν τα πάντα, από αναζήτηση μέχρι εκπαίδευση της τεχνητής νοημοσύνης, από προεπιλογή, για τους νέους λογαριασμούς. Οι παλαιότεροι λογαριασμοί θα πρέπει να το κάνουν μόνοι τους αν θέλουν, καθώς η Cloudflare δεν θέλει να κάνει αλλαγές σε στησίματα που έχουν κάνει οι χρήστες.
Η νέα πολιτική που φέρνει η Cloudflare, θα επηρεάσει δραματικά τον τρόπο που οι πάροχοι τεχνητής νοημοσύνης διαβάζουν και παίρνουν το περιεχόμενο των σελίδων για τους agents τους και για την εκπαίδευση της τεχνητής νοημοσύνης.
Στο στόχαστρο η Google
Αν όλα αυτά δεν ήταν αρκετά για να φανεί πως η Cloudflare στοχεύει κυρίως την Google, η εταιρεία φρόντισε να το κάνει πιο ξεκάθαρο. Δήλωσε πως η μεγαλύτερη μηχανή αναζήτησης στον κόσμο έχει πρόσβαση σε διπλάσιες πληροφορίες σε σχέση με τον ανταγωνισμό της και ένας από τους λόγους που συμβαίνει αυτό είναι πως κάνει όλο και πιο δύσκολο για τους εκδότες και τους ιδιοκτήτες ιστοσελίδων να παραμείνουν ορατοί στο διαδίκτυο, χωρίς να της επιτρέπουν τη χρήση του περιεχομένου τους για όλες τις λειτουργίες τεχνητής νοημοσύνης.
Η Google έχει απαντήσει σε αυτή την κριτική, υπενθυμίζοντας ότι προσφέρει το Google Extended, ένα bot που επιτρέπει στους ιδιοκτήτες σελίδων να εξαιρέσουν το περιεχόμενό τους από AI προϊόντα όπως τα Gemini Apps και το Vertex API, χωρίς να επηρεάζεται η θέση τους στα αποτελέσματα αναζήτησης. Ωστόσο, το κύριο Googlebot ανιχνεύει περιεχόμενο τόσο για αναζήτηση όσο και για AI features όπως το AI Overviews και το AI Mode, κάτι που σημαίνει πως πρακτικά δεν αλλάζει κάτι.
Matthew Prince: «Τα AI bots αποτελούν πάνω από τη μισή κίνηση»
Ο CEO της Cloudflare, Matthew Prince, είχε δηλώσει πως πλέον τα bots τεχνητής νοημοσύνης αποτελούν πάνω από την μισή κίνηση του διαδικτύου και αυτό έγινε πολύ νωρίτερα, αφού οι προβλέψεις ήθελαν να συμβεί τουλάχιστον έναν χρόνο αργότερα. «Πρέπει να προχωρήσουμε πιο μακριά και να ενεργήσουμε πιο γρήγορα ώστε να αναδυθεί ένα βιώσιμο οικοσύστημα», δήλωσε. Τα νέα εργαλεία, πρόσθεσε, δίνουν μεγαλύτερη ορατότητα στους εκδότες και ωφελούν τις εταιρείες AI που λειτουργούν με διαφάνεια.
Η ανακοίνωση του Pay Per Use
Μαζί, η Cloudflare ανακοίνωσε το Pay Per Crawl στην εξελιγμένη του μορφή, το Pay Per Use.
Αντί να χρεώνονται μόνο κατά την ανάκτηση περιεχομένου από crawlers, οι εκδότες θα μπορούν να αμείβονται κάθε φορά που το περιεχόμενό τους δημιουργεί αξία σε AI υπηρεσίες. Δεδομένα της Cloudflare δείχνουν ότι πάνω από το 50% της κίνησης AI crawlers αφορά σελίδες που δεν έχουν καν αλλάξει, σπαταλώντας bandwidth και υπολογιστικούς πόρους και για τις δύο πλευρές.
Αρχικοί εταίροι στο πρόγραμμα Pay Per Use είναι η Ceramic.ai και το You.com. Οι εκδότες που συμμετέχουν αμείβονται όταν το περιεχόμενό τους εμφανίζεται σε αποτελέσματα AI αναζήτησης ή όταν γίνεται πρόσβαση σε premium περιεχόμενο. Το μοντέλο μπορεί να προσαρμοστεί και από άλλες εταιρείες AI.
Οι ενδιαφερόμενοι εκδότες που επιθυμούν να ενεργοποιήσουν τη σχετική δυνατότητα στο Cloudflare λογαριασμό τους, θα πρέπει να δηλώσουν το ενδιαφέρον τους μέσω αυτής της ιστοσελίδας.
Η κατάσταση στα ελληνικά μέσα ενημέρωσης
Η αλήθεια είναι πως από τη στιγμή που το AI Overviews έχει έρθει στη χώρα μας, η συντριπτική πλειοψηφία των μέσων στην Ελλάδα και ιδιαίτερα τα πιο ανεξάρτητα, έχουν έρθει αντιμέτωπα με μια άνευ προηγουμένου κατάσταση. Η επισκεψιμότητα έχει πέσει δραματικά σε χιλιάδες σελίδες της χώρας μας και ήδη πολλά έχουν κλείσει ή είναι στα όριά τους.
Αυτό είναι ένα τεράστιο πρόβλημα, καθώς η πολυφωνία στο διαδίκτυο πεθαίνει και ήδη η Google συνεργάζεται με μερικά από τα πολύ μεγάλα μέσα της χώρας μας, όπως το Πρώτο Θέμα, για την εκπαίδευση της τεχνητής νοημοσύνης της, από τα δικά του άρθρα. Αυτό σημαίνει πως η ενημέρωση του κοινού από την τεχνητή νοημοσύνη θα είναι μόνο από συστημικά μέσα και άρα μονόπλευρη.
