Le web prêt pour les agents : comment Internet s'est refermé et ce qu'il faut faire

Trois ères en trois ans

Pendant la majeure partie de l'histoire du web, le crawl a été régi par un système d'honneur. robots.txt est une demande, pas une clôture. Cela fonctionnait parce que le marché sous-jacent était équitable : les moteurs de recherche copiaient votre page et vous envoyaient des lecteurs en échange.

L'IA générative a cassé ce taux de change, et la réponse est arrivée en trois vagues distinctes.

Première ère, environ 2022 à mi-2024 : la ruée générale. Les corpus d'entraînement ont été assemblés à partir de tout ce qui était atteignable. La plupart des propriétaires de sites n'avaient aucune idée des bots qui leur rendaient visite, et encore moins de la raison. Les outils pour le découvrir n'existaient pratiquement pas en dehors des logs serveur.

Deuxième ère, de mi-2024 à 2025 : bloquer est devenu affaire d'un clic. En septembre 2024, Cloudflare a livré un interrupteur unique pour bloquer les crawlers IA, plans gratuits inclus. En juillet 2025, l'entreprise annonçait que plus d'un million de clients l'avaient activé. Puis, le 1er juillet 2025, elle est allée plus loin : lors de leur intégration, il a été demandé aux nouveaux domaines s'ils autorisaient les crawlers IA, avec le blocage comme position de départ. L'annonce était accompagnée de 48 signataires, une coalition d'une ampleur inhabituelle qui comprenait Associated Press, The Atlantic, Condé Nast, Gannett, TIME, Reddit, Pinterest, Quora et Stack Overflow.

Le même jour est apparue une expérimentation baptisée pay per crawl. Le mécanisme était élégant : un site fixe un prix, les crawlers qui ne paient pas reçoivent un HTTP 402 Payment Required, et ceux qui paient réessaient en joignant leurs identifiants.

En septembre 2025 est arrivée la Content Signals Policy, une extension de robots.txt qui découpe l'autorisation en trois questions distinctes au lieu d'une seule. Cette page doit-elle être indexée pour la recherche ? Servir de matière première à une réponse générée ? Servir à l'entraînement ? Publiée sous licence CC0, elle a été appliquée automatiquement à environ 3,8 millions de domaines dont le robots.txt est géré.

Troisième ère, 2026 : l'identité et l'argent. Bloquer fonctionne, mais bloquer seul est grossier. Si vous voulez autoriser certains agents et pas d'autres, il faut d'abord savoir quel agent frappe réellement à la porte. Deux choses ont suivi. Web Bot Auth applique les HTTP Message Signatures (RFC 9421) avec des clés Ed25519, afin qu'un bot puisse prouver cryptographiquement qui il est, ce qui remplace les listes d'IP autorisées et les chaînes user-agent faciles à usurper. Et x402, un schéma de paiement ouvert bâti sur ce code de statut 402 longtemps resté en sommeil, est passé sous l'égide d'un organisme de la Linux Foundation en 2026, avec parmi ses membres AWS, Cloudflare, Anthropic et Circle.

Puis, le 1er juillet 2026, les contrôles ont été reconstruits autour du découpage en trois issu des Content Signals. Search, Agent et Training sont devenus des interrupteurs indépendants, disponibles sur tous les niveaux de plan, gratuit compris. Et une date a été fixée : à partir du 15 septembre 2026, les domaines nouvellement intégrés auront Training et Agent bloqués par défaut sur les pages qui affichent de la publicité, tandis que Search restera autorisé. Les clients existants conservent la configuration qu'ils ont choisie et doivent la modifier eux-mêmes. La logique invoquée mérite d'être répétée, car c'est la phrase la plus claire que quiconque ait écrite à ce sujet : une publicité est le signe que le propriétaire du site souhaitait qu'une personne arrive là.

Cette date a un second tranchant. Les crawlers qui servent plusieurs objectifs, dont Googlebot, Bingbot et Applebot, sont jugés sur l'ensemble de leurs comportements : bloquer Training les bloque donc entièrement. Ce couplage ne vise pas les éditeurs. Il vise la seule entreprise dont personne ne peut se permettre de refuser le crawler.

Trois ans. D'ouvert par défaut à fermé par défaut, décidé en grande partie par l'écran d'inscription d'une seule entreprise.

---

Où nous en sommes vraiment : l'écart entre crawl et trafic renvoyé

Le chiffre le plus utile de tout ce débat est un ratio : combien de pages une entreprise d'IA récupère-t-elle chez vous pour chaque visiteur qu'elle vous renvoie ?

Cloudflare a commencé à les publier en juillet 2025, et l'écart est saisissant.

Lisez la ligne Google, puis relisez la ligne Anthropic. La recherche traditionnelle demandait environ deux à cinq pages pour envoyer un visiteur. Les moteurs de réponse en demandent des milliers.

Une réserve que l'éditeur de la mesure formule lui-même, et que presque tous les articles laissent de côté : le trafic issu des applications natives mobiles et desktop ne transporte pas d'en-tête referrer, si bien que les renvois sont sous-comptés et que les entreprises dont les applications sont les plus utilisées paraissent pires qu'elles ne le sont. La direction ne fait aucun doute. Le multiple exact, si.

Deux autres chiffres cadrent le tableau. Sur l'ensemble de 2025, les bots IA ont représenté environ 4,2 % des requêtes HTML, soit à peu près autant que Googlebot à lui seul. Et à la mi-2026, plus de la moitié du trafic total d'Internet n'était pas humaine.

Pendant ce temps, le versant humain n'a cessé de se réduire. Quand Google affiche un résumé généré par IA, la part des recherches qui produisent un clic vers un site web chute fortement. Le rapport de juillet 2026 de Cloudflare le disait sans détour : pour chaque heure passée en ligne à chercher de l'information, environ quinze minutes seulement se déroulent sur le web ouvert.

Si vous vous demandiez pourquoi vos statistiques se dégradent alors que vos contenus fonctionnent bien, voilà la forme de la réponse. Notre guide sur l'AEO et le GEO explique quoi faire du côté de la mesure.

---

Les quatre portes que franchit chaque requête d'agent

Voici le cadre qui fait tomber en place les annonces des deux dernières années.

Quand un humain charge une page, la question d'infrastructure est simple : servir ou ne pas servir. Quand un agent émet une requête, quatre questions doivent trouver réponse, généralement dans le même aller-retour.

1. Le calcul. L'agent s'exécute quelque part. Les sessions d'agent sont des charges de travail inhabituelles : un utilisateur, un agent, une tâche, vivante longtemps mais inactive la plupart du temps, en attente d'un modèle. C'est une forme très différente de celle d'un serveur web traitant des milliers de visiteurs simultanés, et cela a poussé les fournisseurs d'infrastructure vers des isolates légers qui hibernent à l'inactivité plutôt que vers des conteneurs facturés à la durée.
2. L'identité. De quel agent s'agit-il, et qui l'a autorisé ? Une chaîne user-agent est une affirmation, pas un justificatif. C'est le problème que Web Bot Auth existe pour résoudre, et la raison pour laquelle la distinction utile n'est plus bot contre humain. C'est quel bot, envoyé par qui, autorisé à faire quoi.
3. L'accès. À quoi peut-il accéder ? Lire un article public, appeler une API interne et agir sur le compte connecté de quelqu'un sont trois autorisations différentes que la plupart des sites traitent aujourd'hui comme une seule.
4. Le paiement. Que doit-il à la source, s'il doit quelque chose ? C'est la porte la plus récente, et de loin la moins stabilisée.

Remarquez qu'il s'agissait de quatre catégories de produits distinctes il y a deux ans : hébergement, gestion des bots, contrôle d'accès et paiements. Le pari du secteur est que, pour le trafic d'agents, elles se ramènent à une seule décision. C'est la stratégie réelle derrière la plupart de ce que vous avez lu. Cela explique aussi pourquoi des entreprises d'infrastructure se soucient soudain de l'économie des éditeurs, un sujet qu'elles ont évité pendant dix ans.

---

Qui tient les portes

Vient maintenant la partie inconfortable, et elle mérite d'être dite franchement, même si la direction prise vous plaît.

Une seule entreprise se tient devant environ un cinquième du web. Cette entreprise a rédigé la spécification d'identité des bots, exploite le registre de clés dont elle dépend, décide quels bots sont vérifiés, décide unilatéralement d'en retirer un, fixe les réglages de crawler par défaut pour les clients des plans gratuits, a racheté une place de marché de licences de contenu en janvier 2026, agit comme marchand de référence pour les paiements, et a saisi une autorité de la concurrence pour demander que son plus grand concurrent soit contraint de scinder son crawler par finalité.

Chacun de ces éléments pris isolément est raisonnable. Ensemble, ils décrivent un acteur privé disposant d'un très large pouvoir d'appréciation sur qui a le droit de lire le web public.

Le pouvoir de déverification en est la pointe. En août 2025, Perplexity a été retiré de la liste des bots vérifiés après un rapport affirmant que l'entreprise utilisait des crawlers non déclarés aux identités tournantes pour atteindre des pages qui l'avaient bloquée. Perplexity a contesté l'attribution et qualifié le rapport de coup de communication. Quelle que soit la vérité, la procédure mérite qu'on s'y arrête : un rapport, une décision, une mesure d'exécution sur une large part du web, et aucun recours documenté.

Il vaut également la peine de savoir que la couche d'identité est moins stabilisée que la couverture médiatique ne le laisse croire. En août 2026, Web Bot Auth existe sous forme de drafts individuels à l'IETF. Aucun n'a été adopté par un groupe de travail et aucun n'est une RFC. Les affirmations selon lesquelles un organisme de normalisation l'aurait finalisé circulent largement et sont fausses. Traitez-le comme l'implémentation d'un fournisseur, cosignée par deux grandes plateformes : c'est une réalité, mais ce n'est pas la même chose qu'un standard.

Les tribunaux avancent d'ailleurs plus vite que les organismes de normalisation, et dans une direction qui récompense les clôtures plutôt que les panneaux. En juillet 2026, un tribunal américain a laissé prospérer une action estimant que contourner des mesures anti-bots est répréhensible en soi au titre de la disposition anti-contournement du DMCA, indépendamment de la contrefaçon. Plus tôt dans l'année, un autre tribunal a jugé que le consentement d'un utilisateur n'autorise pas un agent à accéder à une plateforme qui lui a retiré l'accès. Et le plus important règlement en matière de droit d'auteur de l'histoire des États-Unis, approuvé en juillet 2026, a valorisé le matériel d'entraînement piraté à environ 3 100 dollars par œuvre.

L'argument d'infrastructure et l'argument juridique convergent vers la même conclusion par les deux bouts : déclarez ce que vous autorisez, et rendez la frontière réelle.

---

Ce qui est livré et ce qui reste un communiqué de presse

C'est la section à mettre en favori. Le récit autour du web agentique court largement devant ce que l'on peut réellement acheter, et l'écart est facile à manquer parce que les deux sont annoncés de la même façon.

La règle pratique qui en découle : adoptez à la disponibilité générale, ne prototypez sur une bêta qu'avec une porte de sortie, et n'inscrivez jamais une ligne de revenus dans un plan qui dépend de quoi que ce soit figurant dans la moitié basse de ce tableau.

---

Le retard d'adoption est l'opportunité

En avril 2026, Cloudflare a évalué les 200 000 premiers domaines sur leur degré de préparation au trafic d'agents et a publié les résultats. Ils sont remarquables.

Moins de 15. Sur 200 000. Leur propre résumé du degré de préparation du web aux agents : « Réponse courte : pas très. »

Comparez cela au référencement, où chacun de vos concurrents fait les quarante mêmes choses que vous. Ici, les bases sont libres. La plupart demandent un après-midi.

Il y a une raison pour laquelle la négociation en markdown compte plus qu'il n'y paraît. Quand un crawler récupère une page moderne, il paie pour votre navigation, votre bandeau cookies, vos balises analytics et la charge d'hydratation de votre framework avant d'atteindre la première phrase de votre argumentation. Servir du markdown propre aux clients qui le demandent réduit drastiquement le nombre de tokens. Moins coûteux à lire signifie plus de chances d'être lu en entier, et plus de chances d'être cité fidèlement.

---

La checklist « prêt pour les agents »

Classée par rendement à l'heure de travail.

L'étape six mérite qu'on insiste, car elle prend le contrepied de l'instinct évident. En juillet 2026, Cloudflare a abandonné la facturation au crawl et en a donné la raison : plus de la moitié du trafic de crawl des bons bots sert à récupérer à nouveau des pages qui n'ont pas changé. Selon leurs mots, une même page « peut être crawlée une fois puis citée dans des milliers de réponses, ou crawlée encore et encore sans jamais servir ». Si l'entreprise dont tout le métier consiste à compter les crawls affirme que le nombre de crawls ne mesure pas la valeur, croyez-la.

Si vous voulez la mécanique fichier par fichier de l'étape un, nous l'avons détaillée séparément dans llms.txt vs robots.txt vs ai.txt. Pour l'étape quatre, la couche protocolaire est traitée dans les guerres de protocoles du web agentique.

---

Le piège : lisible ne veut pas dire payé

C'est ici que beaucoup de plans par ailleurs sensés déraillent.

Le récit est le suivant : bloquez les crawlers, créez de la rareté, facturez l'accès, encaissez. La partie blocage a fonctionné. La partie facturation, jusqu'ici, non.

Pay per crawl a été lancé en juillet 2025 et reste en bêta fermée plus d'un an après. Aucun montant, nombre de transactions ni nombre de crawlers payants n'a jamais été publié. Les participants nommés sont de petites entreprises. Aucun des plus grands laboratoires d'IA ne paie.

La donnée la plus instructive est venue de Stack Overflow, qui a activé pay per crawl début 2026. Voici Josh Zhang, de Stack Overflow, décrivant ce qui s'est passé : « quand nous avons activé Pay Per Crawl et que nous avons commencé à répondre, en 402 je crois, à une partie du trafic de ces bots qui recevaient auparavant simplement un 403, ils ont cessé de nous envoyer du trafic. » Ils n'ont pas payé. Ils sont partis.

Une statistique largement citée veut que plus d'un milliard de réponses HTTP 402 soient envoyées chaque jour. Lisez-la attentivement. Un 402 est un devis que personne n'a accepté. Il mesure le refus, pas les recettes.

Puis, en juillet 2026, l'unité de facturation est passée du crawl à l'usage, c'est-à-dire un paiement lorsque votre contenu apparaît dans une réponse générée. C'est une meilleure idée. C'est aussi l'aveu que la première idée n'a pas trouvé son prix. L'entreprise qui la met en œuvre parle d'une expérimentation, et son PDG a déclaré publiquement que le rail de règlement nécessaire à cela à l'échelle d'Internet devrait absorber bien plus d'un million de transactions par seconde, et que personne ne l'a construit.

Pendant ce temps, tous les accords qui ont réellement fait circuler de l'argent dans ce domaine sont des licences bilatérales directes entre une entreprise d'IA et un grand ayant droit, contournant entièrement toute l'infrastructure d'intermédiation.

Le résumé honnête pour quiconque construit quelque chose est donc le suivant : être facile à lire pour les agents rapporte aujourd'hui. Être payé par les agents n'existe pas encore en tant que marché. Faites le premier. Ne budgétez pas le second.

Le levier était réel, cela dit, et c'est la partie qui mérite d'être appréciée. Rendre le refus accessible en un clic a créé un pouvoir de négociation que les éditeurs n'avaient pas auparavant, et des dizaines d'accords de licence ont suivi. L'infrastructure n'est pas devenue le marché. Elle est devenue la raison pour laquelle un marché a pu être négocié.

---

Ce que cela signifie si vous lisez et apprenez en ligne

Prenez un instant de recul par rapport à l'infrastructure, car il y a une conséquence pour quiconque utilise le web pour apprendre.

Deux choses se produisent en même temps. Le web ouvert devient plus difficile d'accès, porte après porte. Et l'interface qui y mène passe d'une liste de liens que vous évaluez vous-même à un paragraphe de texte synthétisé qu'il vous faut largement croire sur parole.

Les deux tendances déplacent la valeur dans la même direction : loin de la recherche d'information, désormais quasiment gratuite, et vers le fait de la juger, de la conserver et de pouvoir montrer d'où elle vient. Une réponse générée peut être produite à l'infini. La trace de ce qu'une personne précise a lu, de ce qu'elle a jugé digne d'être gardé et du passage exact dont cela provient, non.

C'est la couche durable, et c'est la raison pour laquelle nous construisons Glasp comme nous le faisons. Quand vous utilisez le surligneur web de Glasp, ce que vous enregistrez n'est pas un résumé de page. C'est la phrase que vous avez choisie, avec sa source attachée et une date dessus. Quand vous générez des résumés de vidéos YouTube, les timestamps restent attachés à la transcription, si bien que l'affirmation reste vérifiable. Vos surlignages Kindle arrivent au même endroit. Et parce que les surlignages sont publics par défaut, ce qu'un lecteur juge digne d'être gardé devient un signal pour tous les autres, ce qui est exactement le type de jugement qu'aucun modèle ne produit de lui-même.

Il en existe aussi une version pratique. Si vos notes placent la provenance en premier, elles survivent au basculement. Vous pouvez les donner comme contexte à un assistant IA sans lui céder votre jugement, ce qui fait toute la différence entre utiliser un modèle et lui sous-traiter sa pensée. Nous avons écrit davantage sur cette tension dans le piège de la pensée par l'IA et sur les raisons pour lesquelles la curation devient la compétence rare dans le curateur humain à l'ère de l'IA.

Le web est en cours de reconstruction pour les machines. La part qui mérite d'être protégée est celle qui consigne ce que des humains ont jugé important.

---

Questions fréquentes

Qu'est-ce qui change réellement le 15 septembre 2026 ?

L'ancien interrupteur unique « bloquer les bots IA » cède la place à trois contrôles indépendants : search, agent et training. Pour les domaines nouvellement intégrés à Cloudflare, l'accès training et agent est bloqué par défaut sur les pages qui affichent de la publicité, tandis que search reste autorisé. Les configurations existantes ne sont pas réécrites à votre place, ce qui paraît rassurant mais signifie l'inverse de ce que l'on suppose : si vous ne réglez jamais les nouveaux contrôles, vous avez fait un choix en n'en faisant aucun. Notez aussi que les crawlers servant plusieurs objectifs à la fois sont jugés sur l'ensemble de ceux-ci, si bien que bloquer training bloque également Googlebot.

Dois-je bloquer les crawlers IA sur mon site ?

Cela dépend de ce qu'ils vous apportent, et le découpage en trois permet enfin d'y répondre correctement. Si apparaître dans les réponses IA vous amène des lecteurs ou des clients, autorisez la catégorie « entrée pour l'IA », car c'est celle qui renvoie des personnes vers vous. L'entraînement est une question distincte, dont la réponse diffère pour la plupart des gens, puisqu'il ne produit ni citation ni trafic. Tout bloquer est une option réelle, mais comprenez que vous renoncez alors à la découvrabilité, et pour la plupart des sites en 2026 c'est un coût supérieur à l'exposition à l'entraînement.

Bloquer les crawlers fait-il vraiment payer les entreprises d'IA ?

Pas jusqu'ici. Les dispositifs de paiement sont en bêta restreinte depuis la mi-2025 sans aucun revenu publié, et les plus grands laboratoires n'y participent pas. Ce que le blocage a produit, c'est un pouvoir de négociation, qui a conduit à un certain nombre d'accords de licence directs pour les grands éditeurs. Si vous n'êtes pas un grand éditeur, considérez le blocage comme un contrôle sur votre contenu, pas comme un plan de revenus.

Web Bot Auth est-il un vrai standard que je devrais implémenter ?

Il est réel et il est implémenté par plusieurs grandes plateformes, mais ce n'est pas encore un standard. En août 2026, il existe sous forme d'Internet-Drafts individuels à l'IETF, sans adoption par un groupe de travail et sans RFC. Si vous exploitez un crawler ou un agent, l'adopter est judicieux, car c'est ainsi que vous serez traité comme un acteur connu. Si vous gérez un site web, vous ne l'implémentez pas : vous en bénéficiez simplement quand les bots qui vous visitent le font.

Quelle est l'action au rendement le plus élevé à mener cette semaine ?

Réglez vos trois contrôles de crawler délibérément plutôt que par défaut, puis rendez vos pages clés peu coûteuses à analyser : de vrais titres HTML, du contenu présent sans JavaScript, des dates et un auteur visibles. Tout le reste de la checklist compte, mais ces deux points prennent un après-midi et vous placent devant la plupart des 200 000 premiers domaines.

Comment savoir si tout cela fonctionne ?

Arrêtez de compter les visites de crawlers et commencez à compter deux choses : si votre contenu apparaît dans les réponses quand vous interrogez les grands assistants sur votre sujet, et si quelqu'un arrive depuis ces assistants. Le volume de crawl varie pour des raisons qui n'ont rien à voir avec votre valeur, et c'est pourquoi même les fournisseurs qui vendent de l'analytics de crawl l'ont abandonné comme indicateur de succès.

---

Réflexion finale

Le basculement intéressant n'est pas que des entreprises d'IA crawlent le web. C'est que le web a discrètement changé sa réponse à une question à laquelle il répondait de la même manière depuis 1994.

Pendant trente ans, la réponse par défaut était oui, prenez, et dites-nous si vous préférez que nous ne le fassions pas. Depuis 2026, la réponse par défaut est de plus en plus non, déclarez-vous d'abord. Cela s'est produit en un an environ, et cela a été décidé moins par la législation ou les organismes de normalisation que par l'écran de réglages que quelques millions de propriétaires de sites ont parcouru sans le lire.

Y voir un sauvetage ou une privatisation des communs dépend de l'endroit où vous vous tenez. Dans un cas comme dans l'autre, la réponse pratique est la même : décidez ce que vous autorisez au lieu d'en hériter, rendez-vous facile à lire pour les agents que vous voulez, et gardez votre propre trace de ce que vous avez appris et d'où cela venait. Ce dernier point est celui qu'aucune entreprise d'infrastructure ne peut faire à votre place, et c'est celui qui conserve sa valeur quel que soit le sens dans lequel les portes basculent.

Commencez par la phrase que vous voudriez retrouver. Glasp est fait exactement pour cela, et l'essai est gratuit.