par Depuis le 15 septembre, une partie du web fonctionne selon de nouvelles règles, sans que personne ait eu à cliquer sur quoi que ce soit. Cloudflare, l’entreprise américaine qui sert de bouclier et d’intermédiaire technique devant des millions de sites, bloque maintenant par défaut les robots d’intelligence artificielle qui viennent aspirer du contenu sur les pages affichant de la publicité.
Jusqu’ici, un site protégé par Cloudflare avait un gros interrupteur: autoriser les bots, ou les couper. C’est fini. Le système raisonne désormais par usage. Il distingue trois familles de robots. Ceux qui indexent pour la recherche, façon moteur classique, passent partout. Ceux qui collectent pour entraîner un modèle d’IA, et ceux qui agissent en temps réel pour le compte d’un assistant, sont bloqués dès qu’une page contient de la pub.
Le changement ne s’applique pas à tout le monde d’un coup. Sont concernés les nouveaux domaines qui arrivent chez Cloudflare, les nouveaux sites créés par des clients existants, et l’ensemble des comptes gratuits. Les clients payants qui avaient déjà réglé leurs paramètres, eux, gardent leur configuration. Rien ne bouge sans qu’ils le décident.
Reste le cas épineux des robots à tout faire. Googlebot, Applebot ou Bingbot mélangent plusieurs missions sous une seule étiquette: ils indexent pour la recherche et, en même temps, nourrissent des produits d’IA. Faute de pouvoir trier, Cloudflare leur applique le traitement le plus strict. Un éditeur qui bloque l’entraînement risque donc de couper aussi une partie de ces bots hybrides, avec les effets de bord qu’on imagine sur le référencement.
Pour comprendre ce que ces robots vont vraiment chercher sur vos pages preferees, un tour d’horizon accessible fait le job.
L’intelligence artificielle pour les Nuls → voir sur Amazon
Lien affilié Amazon. En tant que Partenaire Amazon, je réalise un bénéfice sur les achats remplissant les conditions requises.
Derrière la manoeuvre, il y a un constat que le patron de Cloudflare, Matthew Prince, répète depuis des mois: la majorité du trafic sur internet n’est plus humaine. Les robots ont dépassé les visiteurs en chair et en os. Et plus de la moitié du trafic des crawlers d’IA consisterait à recharger des pages qui n’ont pas bougé, de la bande passante gaspillée pour rien.
L’idée n’est pas seulement de fermer la porte. Cloudflare pousse son marché baptisé Pay Per Use, qui remplace le Pay Per Crawl. Le principe: payer l’éditeur quand son contenu sert vraiment, quand il ressort dans une réponse d’IA, pas juste au moment où il est aspiré. Ceramic.ai et You.com ouvrent le bal comme premiers partenaires.
Pour le lecteur lambda, ça reste invisible. Mais c’est peut-être le début d’un web où lire un article gratuit et laisser une IA le recracher ne relèvent plus tout à fait du même contrat.
Crédit photo : Cloudflare
