A web pronta para agentes: como a internet se fechou e o que fazer a respeito

Três eras em três anos

Durante a maior parte da vida da web, o rastreio foi regido por um sistema de honra. O robots.txt é um pedido, não uma cerca. Funcionava porque o acordo por baixo dele era justo: os buscadores copiavam sua página e, em troca, mandavam leitores.

A IA generativa quebrou essa taxa de câmbio, e a resposta veio em três ondas distintas.

Primeira era, mais ou menos de 2022 até meados de 2024: o vale-tudo. Os corpora de treinamento foram montados com tudo que estava ao alcance. A maioria dos donos de site não fazia ideia de quais bots os visitavam, muito menos por quê. Fora dos logs de servidor, mal existiam ferramentas para descobrir.

Segunda era, de meados de 2024 até 2025: bloquear virou um clique. Em setembro de 2024, a Cloudflare lançou um botão único para bloquear rastreadores de IA, inclusive nos planos gratuitos. Em julho de 2025 a empresa afirmou que mais de um milhão de clientes o havia ativado. Depois, em 1º de julho de 2025, ela foi além: os domínios novos passaram a ser questionados durante o onboarding sobre permitir ou não rastreadores de IA, com o bloqueio como posição inicial. O anúncio veio com 48 apoiadores, uma coalizão excepcionalmente ampla que incluía Associated Press, The Atlantic, Condé Nast, Gannett, TIME, Reddit, Pinterest, Quora e Stack Overflow.

No mesmo dia, apareceu um experimento chamado pay per crawl. O mecanismo era elegante: o site define um preço, os rastreadores que não pagam recebem HTTP 402 Payment Required e os que pagam repetem a requisição com as credenciais anexadas.

Em setembro de 2025 veio a Content Signals Policy, uma extensão do robots.txt que divide a permissão em três perguntas separadas em vez de uma só. Esta página deve ser indexada para busca? Usada como insumo de uma resposta gerada? Usada para treinamento? Foi lançada sob CC0 e aplicada automaticamente a cerca de 3,8 milhões de domínios com robots.txt gerenciado.

Terceira era, 2026: identidade e dinheiro. Bloquear funciona, mas bloquear sozinho é um instrumento tosco. Se você quer liberar alguns agentes e outros não, primeiro precisa saber qual agente está de fato batendo à porta. Duas coisas vieram na sequência. O Web Bot Auth aplica HTTP Message Signatures (RFC 9421) com chaves Ed25519, de modo que um bot possa provar criptograficamente quem é, substituindo listas de IPs permitidos e strings de user-agent fáceis de forjar. E o x402, um esquema aberto de pagamento construído sobre aquele código de status 402 há muito adormecido, passou em 2026 para um órgão da Linux Foundation, com membros como AWS, Cloudflare, Anthropic e Circle.

Então, em 1º de julho de 2026, os controles foram reconstruídos em torno da divisão em três da Content Signals. Search, Agent e Training viraram chaves independentes, disponíveis em todos os níveis de plano, gratuito incluído. E uma data foi marcada: a partir de 15 de setembro de 2026, os domínios que entram no serviço passam a ter Training e Agent bloqueados por padrão nas páginas que exibem anúncios, enquanto Search segue permitido. Os clientes existentes mantêm o que configuraram e precisam alterar por conta própria. A lógica declarada vale a repetição, porque é a frase mais clara que alguém escreveu sobre isso: um anúncio é o sinal de que o dono do site queria que uma pessoa chegasse ali.

Essa data tem um segundo gume. Rastreadores que servem a mais de um propósito, entre eles Googlebot, Bingbot e Applebot, são julgados por todos os seus comportamentos, de modo que bloquear Training bloqueia eles por inteiro. Esse acoplamento não é mirado nos publishers. É mirado na única empresa cujo rastreador ninguém pode se dar ao luxo de recusar.

Três anos. De aberta por padrão a fechada por padrão, decidido em boa medida pela tela de onboarding de uma empresa.

---

Onde estamos de fato: a distância entre rastreio e referência

O número mais útil de todo esse debate é uma razão: quantas páginas uma empresa de IA busca em você para cada visitante que ela devolve?

A Cloudflare começou a publicar esses dados em julho de 2025, e a dispersão impressiona.

Leia a linha do Google e depois releia a da Anthropic. A busca tradicional precisava de umas duas a cinco páginas para mandar um visitante. Os motores de resposta precisam de milhares.

Há uma ressalva que o próprio publicador faz sobre sua métrica e que quase toda cobertura deixa de lado: o tráfego vindo de aplicativos nativos de celular e desktop não carrega cabeçalho de referrer, então as referências são subcontadas, e as empresas com mais uso via aplicativo parecem piores do que são. A direção não está em dúvida. O múltiplo exato está.

Mais dois números emolduram o quadro. Ao longo de 2025, os bots de IA responderam por cerca de 4,2% das requisições HTML, aproximadamente o mesmo que o Googlebot sozinho. E, em meados de 2026, mais da metade de todo o tráfego da internet já não era humano.

Enquanto isso, o lado humano continuou encolhendo. Quando o Google mostra um resumo de IA, a fatia de buscas que gera um clique para um site cai bruscamente. O relatório da Cloudflare de julho de 2026 colocou a coisa de forma crua: para cada hora passada online em busca de informação, apenas uns quinze minutos são gastos na web aberta.

Se você anda se perguntando por que sua analytics parece pior enquanto seu conteúdo vai bem, essa é a forma da resposta. Nosso guia sobre AEO e GEO cobre o que fazer do lado da medição.

---

Os quatro portões que toda requisição de agente atravessa

Aqui está o enquadramento que faz os últimos dois anos de anúncios se encaixarem.

Quando um humano carrega uma página, a pergunta de infraestrutura é simples: servir ou não servir. Quando um agente faz uma requisição, quatro perguntas precisam ser respondidas, normalmente na mesma ida e volta.

1. Computação. O agente roda em algum lugar. Sessões de agente são cargas de trabalho incomuns: um usuário, um agente, uma tarefa, viva por muito tempo, mas ociosa na maior parte dela enquanto espera por um modelo. Isso é um formato bem diferente de um servidor web atendendo milhares de visitantes simultâneos, e empurrou os fornecedores de infraestrutura na direção de isolates leves que hibernam quando ociosos, em vez de contêineres que cobram por relógio.
2. Identidade. Que agente é este e quem o autorizou? Uma string de user-agent é uma alegação, não uma credencial. É isso que o Web Bot Auth existe para resolver, e é por isso que a distinção útil não é mais bot contra humano. É qual bot, enviado por quem, autorizado a fazer o quê.
3. Acesso. O que ele pode alcançar? Ler um artigo público, chamar uma API interna e agir sobre a conta logada de alguém são três permissões diferentes que a maioria dos sites hoje trata como uma só.
4. Pagamento. O que, se é que algo, ele deve à fonte? Este é o portão mais novo e, de longe, o menos resolvido.

Repare que, dois anos atrás, essas eram quatro categorias de produto separadas: hospedagem, gerenciamento de bots, controle de acesso e pagamentos. A aposta do setor é que, para o tráfego de agentes, elas colapsam em uma única decisão. Essa é a estratégia real por trás de boa parte do que você vem lendo. E também explica por que empresas de infraestrutura de repente se interessam pela economia dos publishers, um assunto que evitaram por uma década.

---

Quem controla os portões

Agora a parte desconfortável, e ela merece ser dita com todas as letras mesmo que você goste da direção que isso está tomando.

Uma única empresa está na frente de aproximadamente um quinto da web. Essa empresa escreveu a especificação de identidade de bots, opera o registro de chaves do qual ela depende, decide quais bots são verificados, decide unilateralmente quando remover um deles, define os padrões de rastreio para clientes de planos gratuitos, adquiriu um marketplace de licenciamento de conteúdo em janeiro de 2026, atua como comerciante registrado dos pagamentos e protocolou junto a um regulador de concorrência um pedido para que seu maior concorrente seja obrigado a dividir o rastreador por propósito.

Qualquer um desses itens é razoável. Juntos, eles descrevem um agente privado com um grau enorme de discricionariedade sobre quem pode ler a web pública.

O poder de retirar a verificação é a ponta afiada. Em agosto de 2025, a Perplexity foi removida da lista de bots verificados depois de um relatório alegar que ela usava rastreadores não declarados, com identidades rotativas, para alcançar páginas que a haviam bloqueado. A Perplexity contestou a atribuição e chamou o relatório de golpe publicitário. Seja qual for a verdade, o processo merece atenção: um relatório, uma decisão, uma medida de aplicação que atinge uma fatia grande da web e nenhum recurso documentado.

Vale saber também que a camada de identidade está menos consolidada do que a cobertura sugere. Em agosto de 2026, o Web Bot Auth existe como rascunhos individuais na IETF. Nenhum foi adotado por um grupo de trabalho e nenhum é uma RFC. Afirmações de que um órgão de padronização o finalizou circulam bastante e estão erradas. Trate-o como uma implementação de fornecedor que duas grandes plataformas endossaram, o que é algo real, mas não é a mesma coisa que um padrão.

Aliás, os tribunais estão andando mais rápido que os órgãos de padronização, e numa direção que premia cercas em vez de placas. Em julho de 2026, uma corte dos Estados Unidos deixou seguir uma ação sustentando que contornar medidas antibot é acionável por si só sob a cláusula anticontorno do DMCA, em separado da violação de direitos autorais. No começo daquele ano, outra corte entendeu que o consentimento de um usuário não autoriza um agente a acessar uma plataforma que revogou seu acesso. E o maior acordo de direitos autorais da história dos Estados Unidos, homologado em julho de 2026, precificou material de treinamento pirateado em cerca de US$ 3.100 por obra.

O argumento de infraestrutura e o argumento jurídico estão convergindo para a mesma conclusão a partir de pontas opostas: declare o que você permite e torne a fronteira real.

---

O que foi lançado e o que ainda é só press release

Esta é a seção para guardar nos favoritos. A narrativa em torno da web agêntica está bem à frente do que qualquer um consegue de fato comprar, e a diferença passa despercebida porque os dois são anunciados do mesmo jeito.

A regra prática que decorre disso: adote no lançamento geral, prototipe em beta apenas com uma rota de saída e nunca coloque uma linha de receita num plano que dependa de algo da metade de baixo dessa tabela.

---

A lacuna de adoção é a oportunidade

Em abril de 2026, a Cloudflare avaliou os 200.000 maiores domínios quanto ao preparo para tráfego de agentes e publicou os resultados. Eles são notáveis.

Menos de 15. Em 200.000. O resumo deles mesmos sobre o quanto a web está pronta para agentes: "A resposta curta: não muito."

Compare isso com a otimização para buscadores, em que todos os seus concorrentes fazem as mesmas quarenta coisas que você. Aqui, o básico está sem dono. E a maior parte dele leva uma tarde.

Há um motivo para a negociação de markdown importar mais do que parece. Quando um rastreador busca uma página moderna, ele paga pela sua navegação, pelo seu banner de cookies, pelas suas tags de analytics e pelo payload de hidratação do seu framework antes de chegar a uma única frase do seu argumento de verdade. Servir markdown limpo para os clientes que pedem corta os tokens drasticamente. Mais barato de ler significa maior chance de ser lido por inteiro e maior chance de ser citado com precisão.

---

O checklist de prontidão para agentes

Ordenado por retorno por hora de trabalho.

O passo seis merece destaque porque inverte o instinto óbvio. Em julho de 2026, a Cloudflare abandonou a cobrança por rastreio e deu o motivo: mais da metade do tráfego de rastreio vindo de bots bem-comportados vai para rebuscar páginas que não mudaram. Nas palavras deles, uma única página "pode ser rastreada uma vez e então citada em milhares de respostas, ou rastreada várias e várias vezes e nunca usada". Se a empresa cujo negócio inteiro é contar rastreios diz que contagem de rastreio não mede valor, acredite nela.

Se você quer a mecânica arquivo por arquivo do passo um, escrevemos isso à parte em llms.txt vs robots.txt vs ai.txt. Para o passo quatro, a camada de protocolo está coberta em as guerras de protocolo da web agêntica.

---

A armadilha: legível não é a mesma coisa que pago

É aqui que muitos planos, no resto sensatos, dão errado.

A história vai assim: bloqueie os rastreadores, crie escassez, cobre pelo acesso, receba. A parte do bloqueio funcionou. A parte da cobrança, até agora, não.

O pay per crawl foi lançado em julho de 2025 e segue em beta fechado mais de um ano depois. Nenhum valor em dólares, contagem de transações ou número de rastreadores pagantes jamais foi divulgado. Os participantes nomeados são empresas pequenas. Nenhum dos maiores laboratórios de IA paga.

O dado mais instrutivo veio do Stack Overflow, que ligou o pay per crawl no começo de 2026. Aqui está Josh Zhang, do Stack Overflow, descrevendo o que aconteceu: "quando ligamos o Pay Per Crawl e começamos a servir, acho que como um 402, parte do tráfego daqueles bots que antes simplesmente recebiam um bloqueio 403, eles pararam de mandar tráfego para o nosso lado". Eles não pagaram. Eles foram embora.

Existe uma estatística muito citada de que mais de um bilhão de respostas HTTP 402 saem por dia. Leia com atenção. Um 402 é uma cotação de preço que ninguém aceitou. Ele mede recusa, não receita.

Aí, em julho de 2026, a unidade de cobrança mudou de rastreio para uso, ou seja, pagamento quando seu conteúdo aparece numa resposta gerada. É uma ideia melhor. E também é a admissão de que a primeira ideia não precificou. A empresa que a opera chama aquilo de experimento, e seu CEO já disse publicamente que o trilho de liquidação necessário para isso na escala da internet teria de dar conta de bem mais de um milhão de transações por segundo, e que ninguém construiu tal coisa.

Enquanto isso, todo acordo que de fato moveu dinheiro nesse espaço foi uma licença bilateral direta entre uma empresa de IA e um grande detentor de direitos, contornando por completo toda a infraestrutura intermediária.

Então o resumo honesto para quem está construindo algo: ser fácil de ler para agentes compensa hoje. Ser pago por agentes ainda não existe como mercado. Faça o primeiro. Não coloque o segundo no orçamento.

A alavancagem, no entanto, foi real, e essa é a parte que merece reconhecimento. Tornar a recusa um clique criou um poder de barganha que os publishers antes não tinham, e dezenas de acordos de licenciamento vieram na sequência. A infraestrutura não virou o mercado. Ela virou o motivo pelo qual um mercado pôde sequer ser negociado.

---

O que isso significa para quem lê e aprende online

Afaste-se da infraestrutura por um segundo, porque há uma consequência para qualquer pessoa que use a web para aprender.

Duas coisas acontecem ao mesmo tempo. A web aberta está ficando mais difícil de alcançar, portão por portão. E a interface para ela está deixando de ser uma lista de links que você avalia por conta própria e virando um parágrafo de texto sintetizado no qual, em boa medida, você precisa confiar.

As duas tendências movem valor na mesma direção: para longe de encontrar informação, o que hoje é quase gratuito, e em direção a julgá-la, guardá-la e conseguir mostrar de onde ela veio. Uma resposta gerada pode ser produzida infinitamente. Um registro do que uma pessoa específica leu, do que ela achou que valia guardar e de exatamente qual trecho aquilo veio, não pode.

Essa é a camada durável, e é a razão pela qual construímos o Glasp do jeito que construímos. Quando você usa o marcador de texto para a web do Glasp, o que você salva não é um resumo de uma página. É a frase que você escolheu, com a fonte anexada e uma data. Quando você roda resumos de vídeos do YouTube, os timestamps continuam presos à transcrição, então a afirmação segue verificável. Seus destaques do Kindle chegam ao mesmo lugar. E como os destaques são públicos por padrão, o que um leitor marca como digno de guardar vira um sinal para todos os outros, que é exatamente o tipo de julgamento que nenhum modelo produz sozinho.

Existe uma versão prática disso também. Se suas anotações são orientadas à procedência, elas sobrevivem à virada. Você pode entregá-las a um assistente de IA como contexto sem entregar junto o seu julgamento, e essa é a diferença entre usar um modelo e terceirizar o seu pensamento para ele. Escrevemos mais sobre essa tensão em a armadilha do pensamento com IA e sobre por que a curadoria está virando a habilidade escassa em o curador humano na era da IA.

A web está sendo reconstruída para máquinas. A parte que vale proteger é a parte que registra o que os humanos decidiram que importava.

---

Perguntas frequentes

O que muda de fato em 15 de setembro de 2026?

O antigo botão único de "bloquear bots de IA" dá lugar a três controles independentes: busca, agente e treinamento. Para domínios que entram na Cloudflare a partir dessa data, o acesso de treinamento e de agente fica bloqueado por padrão nas páginas que exibem anúncios, enquanto a busca segue permitida. As configurações existentes não são reescritas para você, o que soa tranquilizador mas significa o oposto do que as pessoas supõem: se você nunca definir os novos controles, terá feito uma escolha justamente por não fazer nenhuma. Note também que rastreadores que servem a vários propósitos ao mesmo tempo são julgados por todos eles, então bloquear treinamento também bloqueia o Googlebot.

Devo bloquear os rastreadores de IA no meu site?

Depende do que você obtém deles, e a divisão em três finalmente permite responder isso direito. Se aparecer dentro de respostas de IA traz leitores ou clientes, libere a categoria de insumo de IA, porque é ela que devolve pessoas. Treinamento é uma pergunta separada, com resposta diferente para a maioria, já que não produz nem citação nem tráfego. Bloquear tudo é uma opção real, mas entenda que você está abrindo mão de descoberta e, para a maioria dos sites em 2026, esse custo é maior que a exposição ao treinamento.

Bloquear rastreadores faz mesmo as empresas de IA pagarem?

Até agora, não. Os esquemas de pagamento estão em beta limitado desde meados de 2025, sem receita divulgada, e os maiores laboratórios não participam. O que o bloqueio produziu foi poder de negociação, o que levou a uma série de acordos diretos de licenciamento para grandes publishers. Se você não é um grande publisher, trate o bloqueio como controle sobre o seu conteúdo, não como plano de receita.

O Web Bot Auth é um padrão de verdade que eu deveria implementar?

Ele é real e está implementado por várias plataformas grandes, mas ainda não é um padrão. Em agosto de 2026 ele existe como Internet-Drafts individuais na IETF, sem adoção por grupo de trabalho e sem RFC. Se você opera um rastreador ou agente, adotá-lo é sensato, porque é assim que você passa a ser tratado como um ator conhecido. Se você mantém um site, não é você que implementa: você só se beneficia quando os bots que batem à sua porta o fazem.

Qual é a coisa de maior retorno para fazer esta semana?

Defina seus três controles de rastreio de forma deliberada em vez de deixar no padrão e, depois, deixe suas páginas principais baratas de interpretar: cabeçalhos HTML de verdade, conteúdo presente sem JavaScript, datas e autoria visíveis. Todo o resto do checklist importa, mas essas duas coisas levam uma tarde e colocam você à frente da maioria dos 200.000 maiores domínios.

Como sei se alguma coisa disso está funcionando?

Pare de contar acessos de rastreadores e comece a contar duas coisas: se o seu conteúdo aparece nas respostas quando você pergunta aos principais assistentes sobre o seu tema, e se alguém chega até você vindo desses assistentes. O volume de rastreio se mexe por motivos que nada têm a ver com o seu valor, e é por isso que até os fornecedores que vendem analytics de rastreio deixaram de usá-lo como métrica de sucesso.

---

Consideração final

A virada interessante não é que empresas de IA estão rastreando a web. É que a web mudou, discretamente, a resposta a uma pergunta que ela vinha respondendo da mesma forma desde 1994.

Por trinta anos o padrão foi sim, pode pegar, e avise se preferir que a gente não pegue. Em 2026, o padrão é cada vez mais não, declare-se primeiro. Isso aconteceu em cerca de um ano, e foi decidido menos por legislação ou órgãos de padronização do que pela tela de configurações que alguns milhões de donos de site clicaram sem ler.

Se isso é um resgate ou um cercamento depende de onde você está. De um jeito ou de outro, a resposta prática é a mesma: decida o que você permite em vez de herdar a decisão, torne-se fácil de ler para os agentes que você quer, e mantenha o seu próprio registro do que aprendeu e de onde aquilo veio. Esta última é a parte que nenhuma empresa de infraestrutura pode fazer por você, e é a parte que mantém o valor não importa para que lado os portões girem.

Comece pela frase que você gostaria de reencontrar. O Glasp foi feito exatamente para isso, e é gratuito para experimentar.