Tres eras en tres años
Durante casi toda la vida de la web, el rastreo se rigió por un sistema de honor. robots.txt es una petición, no una valla. Funcionaba porque el trato que había debajo era justo: los buscadores copiaban tu página y a cambio te enviaban lectores.
La IA generativa rompió ese tipo de cambio, y la respuesta llegó en tres olas bien diferenciadas.
Primera era, de 2022 a mediados de 2024 aproximadamente: barra libre. Los corpus de entrenamiento se armaron con todo lo que estuviera al alcance. La mayoría de los dueños de sitios no tenía ni idea de qué bots los visitaban, mucho menos por qué. Fuera de los registros del servidor apenas existían herramientas para averiguarlo.
Segunda era, de mediados de 2024 a lo largo de 2025: bloquear pasó a ser cuestión de un clic. En septiembre de 2024, Cloudflare lanzó un único interruptor para bloquear rastreadores de IA, planes gratuitos incluidos. Para julio de 2025 la empresa afirmaba que más de un millón de clientes lo habían activado. Después, el 1 de julio de 2025, fue más lejos: a los dominios nuevos se les preguntaba durante la incorporación si querían permitir rastreadores de IA, con el bloqueo como posición de partida. El anuncio llevaba 48 firmas de apoyo, una coalición inusualmente amplia que incluía a Associated Press, The Atlantic, Condé Nast, Gannett, TIME, Reddit, Pinterest, Quora y Stack Overflow.
Ese mismo día apareció un experimento llamado pago por rastreo. El mecanismo era elegante: un sitio fija un precio, los rastreadores que no pagan reciben HTTP 402 Payment Required y los que pagan reintentan adjuntando sus credenciales.
En septiembre de 2025 llegó la Content Signals Policy, una extensión de robots.txt que divide el permiso en tres preguntas separadas en lugar de una. ¿Se debe indexar esta página para búsquedas? ¿Usarla como insumo de una respuesta generada? ¿Usarla para entrenamiento? Se publicó bajo CC0 y se aplicó automáticamente a unos 3,8 millones de dominios con archivos robots.txt gestionados.
Tercera era, 2026: identidad y dinero. Bloquear funciona, pero bloquear a secas es un instrumento tosco. Si quieres permitir a unos agentes y a otros no, primero necesitas saber qué agente está llamando a la puerta. De ahí salieron dos cosas. Web Bot Auth aplica HTTP Message Signatures (RFC 9421) con claves Ed25519 para que un bot pueda demostrar criptográficamente quién es, sustituyendo las listas blancas de IP y las cadenas de user-agent fáciles de falsificar. Y x402, un esquema de pago abierto construido sobre ese código de estado 402 que llevaba décadas durmiendo, pasó en 2026 a manos de un organismo de la Linux Foundation con miembros como AWS, Cloudflare, Anthropic y Circle.
Luego, el 1 de julio de 2026, los controles se reconstruyeron en torno a la división en tres de Content Signals. Search, Agent y Training se convirtieron en interruptores independientes disponibles en todos los planes, incluido el gratuito. Y se fijó una fecha: a partir del 15 de septiembre de 2026, los dominios que se incorporen desde entonces tendrán Training y Agent bloqueados por defecto en las páginas que muestran anuncios, mientras que Search seguirá permitido. Los clientes actuales conservan lo que hayan configurado y deben cambiarlo por su cuenta. La lógica declarada merece repetirse porque es la frase más clara que alguien ha escrito sobre esto: un anuncio es una señal de que el dueño del sitio quería que aterrizara ahí una persona.
Esa fecha tiene un segundo filo. Los rastreadores que sirven a más de un propósito, entre ellos Googlebot, Bingbot y Applebot, se juzgan por todos sus comportamientos, así que bloquear Training los bloquea por completo. Ese acoplamiento no apunta a los editores. Apunta a la única empresa cuyo rastreador nadie puede permitirse rechazar.
Tres años. De abierta por defecto a cerrada por defecto, decidido en buena medida por la pantalla de incorporación de una sola empresa.
Dónde estamos realmente: la brecha entre rastreo y referencias
El número más útil de todo este debate es una proporción: ¿cuántas páginas te descarga una empresa de IA por cada visitante que te devuelve?
Cloudflare empezó a publicar estas cifras en julio de 2025, y la dispersión es asombrosa.
| Plataforma | Rastreos por referencia, enero de 2025 | Rastreos por referencia, julio de 2025 |
|---|---|---|
| Anthropic | 286.930 : 1 | 38.066 : 1 |
| OpenAI | 1.217 : 1 | 1.091 : 1 |
| Perplexity | 55 : 1 | 195 : 1 |
| Microsoft | 39 : 1 | 41 : 1 |
| 4 : 1 | 5 : 1 |
Lee la fila de Google y luego vuelve a leer la de Anthropic. La búsqueda tradicional necesitaba entre dos y cinco páginas para enviar un visitante. Los motores de respuestas necesitan miles.
Una advertencia que hace el propio autor de la métrica, y que casi todos los artículos omiten: el tráfico procedente de apps nativas de móvil y escritorio no lleva cabecera de referente, así que las referencias se subestiman, y las empresas con más uso en app se ven peor de lo que son. La dirección no está en duda. El múltiplo exacto sí.
Dos cifras más completan el cuadro. A lo largo de 2025, los bots de IA representaron alrededor del 4,2 % de las peticiones HTML, más o menos lo mismo que Googlebot por sí solo. Y a mediados de 2026, más de la mitad de todo el tráfico de internet no era humano.
Mientras tanto, el lado humano siguió encogiéndose. Cuando Google muestra un resumen de IA, la proporción de búsquedas que producen un clic hacia un sitio web cae en picada. El informe de Cloudflare de julio de 2026 lo dijo sin rodeos: por cada hora que se pasa en línea buscando información, solo unos quince minutos transcurren en la web abierta.
Si te preguntabas por qué tus analíticas empeoran mientras tu contenido funciona bien, esta es la forma de la respuesta. Nuestra guía sobre AEO y GEO cubre qué hacer con la parte de medición.
Las cuatro puertas que atraviesa cada petición de un agente
Este es el marco que hace encajar los anuncios de los últimos dos años.
Cuando una persona carga una página, la pregunta de infraestructura es simple: se sirve o no se sirve. Cuando un agente hace una petición, hay que responder cuatro preguntas, normalmente en el mismo viaje de ida y vuelta.
- Cómputo. El agente se ejecuta en algún sitio. Las sesiones de agentes son cargas de trabajo peculiares: un usuario, un agente, una tarea, con una vida larga pero inactiva la mayor parte del tiempo mientras espera a un modelo. Esa forma es muy distinta a la de un servidor web que atiende a miles de visitantes simultáneos, y ha empujado a los proveedores de infraestructura hacia isolates ligeros que hibernan cuando están inactivos en lugar de contenedores que facturan por reloj.
- Identidad. ¿Qué agente es este y quién lo autorizó? Una cadena de user-agent es una afirmación, no una credencial. Eso es lo que Web Bot Auth existe para arreglar, y por eso la distinción útil ya no es bot frente a humano. Es qué bot, enviado por quién y con permiso para hacer qué.
- Acceso. ¿A qué puede llegar? Leer un artículo público, llamar a una API interna y actuar sobre la cuenta con sesión iniciada de alguien son tres permisos distintos que hoy la mayoría de los sitios trata como uno solo.
- Pago. ¿Qué le debe, si acaso, a la fuente? Esta es la puerta más nueva y, con diferencia, la menos resuelta.
Fíjate en que hace dos años estas eran cuatro categorías de producto separadas: hosting, gestión de bots, control de acceso y pagos. La apuesta de todo el sector es que, para el tráfico de agentes, colapsan en una sola decisión. Esa es la estrategia real detrás de casi todo lo que has estado leyendo. También explica por qué las empresas de infraestructura se interesan de repente por la economía de los editores, un tema que evitaron durante una década.
Quién controla las puertas
Ahora la parte incómoda, y conviene decirla con claridad aunque te guste la dirección que lleva esto.
Una sola empresa está delante de aproximadamente una quinta parte de la web. Esa empresa escribió la especificación de identidad de bots, opera el registro de claves del que depende, decide qué bots están verificados, decide unilateralmente cuándo retirar a uno, fija los valores por defecto de rastreo para los clientes de planes gratuitos, adquirió un mercado de licencias de contenido en enero de 2026, actúa como comerciante registrado en los pagos y ha presentado un escrito ante un regulador de competencia pidiendo que se obligue a su mayor competidor a dividir su rastreador por propósitos.
Cualquiera de esas cosas por separado es razonable. Juntas describen a un actor privado con muchísima discrecionalidad sobre quién puede leer la web pública.
El poder de desverificar es el extremo afilado. En agosto de 2025, Perplexity fue retirada de la lista de bots verificados después de que un informe alegara que estaba usando rastreadores no declarados con identidades rotativas para llegar a páginas que la habían bloqueado. Perplexity discutió la atribución y calificó el informe de golpe publicitario. Sea cual sea la verdad, el proceso merece atención: un informe, una decisión, una medida de aplicación sobre una gran parte de la web y ninguna apelación documentada.
También conviene saber que la capa de identidad está menos asentada de lo que sugiere la cobertura mediática. A agosto de 2026, Web Bot Auth existe como borradores individuales en el IETF. Ninguno ha sido adoptado por un grupo de trabajo y ninguno es un RFC. Las afirmaciones de que un organismo de estandarización lo ha finalizado circulan mucho y son falsas. Trátalo como una implementación de proveedor que dos grandes plataformas han refrendado, que es algo real pero no lo mismo que un estándar.
Por cierto, los tribunales se mueven más rápido que los organismos de estandarización, y en una dirección que premia las vallas por encima de los carteles. En julio de 2026, un tribunal estadounidense permitió que avanzara una demanda que sostiene que eludir medidas antibot es accionable por sí mismo bajo la disposición antielusión de la DMCA, con independencia de la infracción de derechos de autor. Ese mismo año, otro tribunal sostuvo que el consentimiento de un usuario no autoriza a un agente a acceder a una plataforma que le ha revocado el acceso. Y el mayor acuerdo por derechos de autor de la historia de Estados Unidos, aprobado en julio de 2026, valoró el material de entrenamiento pirateado en unos 3.100 USD por obra.
El argumento de infraestructura y el argumento legal convergen en la misma conclusión desde extremos opuestos: declara qué permites y haz que la frontera sea real.
Qué se lanzó y qué sigue siendo una nota de prensa
Esta es la sección que conviene guardar en marcadores. El relato sobre la web agéntica va muy por delante de lo que alguien puede comprar de verdad, y la diferencia es fácil de pasar por alto porque ambas cosas se anuncian igual.
| Capacidad | Estado en agosto de 2026 |
|---|---|
| Bloqueo de rastreadores de IA con un clic | Lanzado, en todos los planes incluido el gratuito |
| Controles triples de Search / Agent / Training | Lanzado en todos los planes incluido el gratuito. Los nuevos valores por defecto se aplican a los dominios que se incorporen desde el 15 de septiembre de 2026 |
| Content Signals en robots.txt | Lanzado, CC0, aplicado a unos 3,8 M de dominios |
| Analíticas de rastreo y permitir o bloquear por bot | Lanzado, aunque los paneles más completos están reservados a planes enterprise |
| Servidores MCP remotos gestionados | Lanzado y ampliamente usado |
| Identidad criptográfica de bots (Web Bot Auth) | Implementado por varias plataformas grandes, pero son borradores individuales del IETF, sin RFC |
| Pago por rastreo | En beta cerrada desde julio de 2025. Nunca se ha publicado ingreso, número de transacciones ni cantidad de rastreadores que pagan |
| Pago por uso, facturando por cita en lugar de por descarga | Anunciado en julio de 2026 y descrito por su propio proveedor como un experimento |
| Muro de pago con stablecoins para páginas, APIs y herramientas de agentes | Lista de espera. Redactado enteramente en futuro |
La regla práctica que se desprende de esto: adopta cuando haya disponibilidad general, prototipa sobre una beta solo con una vía de salida, y nunca metas una línea de ingresos en un plan que dependa de algo de la mitad inferior de esa tabla.
La brecha de adopción es la oportunidad
En abril de 2026, Cloudflare puntuó los 200.000 dominios principales según su preparación para el tráfico de agentes y publicó los resultados. Son notables.
| Capacidad | Porcentaje de los 200.000 dominios principales |
|---|---|
| Tiene un robots.txt | 78 % |
| Declara señales de uso legibles por máquinas (Content Signals) | 4 % |
| Admite negociación de contenido en markdown | 3,9 % |
| Expone una interfaz invocable por máquinas (tarjeta de servidor MCP o catálogo de API) | Menos de 15 sitios en total |
Menos de 15. De 200.000. Su propio resumen de cuán preparada para agentes está la web: "La respuesta corta: no mucho."
Compáralo con la optimización para buscadores, donde todos tus competidores hacen las mismas cuarenta cosas que tú. Aquí lo básico está sin reclamar. Y casi todo se resuelve en una tarde.
Hay un motivo por el que la negociación de markdown importa más de lo que parece. Cuando un rastreador descarga una página moderna, paga por tu navegación, tu banner de cookies, tus etiquetas de analítica y la carga de hidratación de tu framework antes de llegar a una sola frase de tu argumento real. Servir markdown limpio a los clientes que lo piden reduce los tokens drásticamente. Más barato de leer significa más probable que se lea entero, y más probable que se cite con precisión.
La lista de verificación para estar preparado para agentes
Ordenada por rendimiento por hora de trabajo.
| Paso | Qué significa | Por qué compensa |
|---|---|---|
| 1. Declara tu intención | Define búsqueda, entrada para IA y entrenamiento como tres respuestas separadas en lugar de un permiso o una negativa general | El cambio de valores por defecto de septiembre de 2026 convierte el silencio en una decisión. Además: una reserva explícita tiene peso legal en la UE |
| 2. Sé barato de leer | HTML limpio, encabezados reales, markdown para los clientes que lo pidan, nada de contenido crítico detrás del renderizado en cliente | Reduce el costo de citarte y disminuye las citas erróneas |
| 3. Sé citable por unidades | Secciones autocontenidas, definiciones cerca del inicio, tablas para comparaciones, fechas en las afirmaciones | Los motores de respuestas citan fragmentos, no páginas |
| 4. Sé invocable | Expón un servidor MCP si tienes datos o acciones que merezca la pena alcanzar | Menos de 15 de los 200.000 principales lo han hecho |
| 5. Sé atribuible | URLs estables, autoría visible, fechas explícitas de publicación y actualización, etiquetas canónicas | La atribución es la unidad sobre la que se construye todo esquema de pago propuesto |
| 6. Mide citas, no rastreos | Controla si apareces en las respuestas y si llega alguien, no cuántos bytes se llevaron los bots | Hasta los proveedores que venden analíticas de rastreo dicen ya que el número de rastreos es un indicador roto del valor |
El paso seis merece énfasis porque invierte el instinto obvio. En julio de 2026, Cloudflare dejó de facturar por rastreo y dio la razón: más de la mitad del tráfico de rastreo de los bots buenos se va en volver a descargar páginas que no han cambiado. En sus palabras, una sola página "podría rastrearse una vez y luego citarse en miles de respuestas, o rastrearse una y otra vez y no usarse jamás." Si la empresa cuyo negocio entero consiste en contar rastreos dice que el número de rastreos no mide el valor, créele.
Si quieres la mecánica archivo por archivo del paso uno, la hemos escrito aparte en llms.txt frente a robots.txt frente a ai.txt. Para el paso cuatro, la capa de protocolo está cubierta en las guerras de protocolos de la web agéntica.
La trampa: ser legible no es lo mismo que cobrar
Aquí es donde se tuercen muchos planes por lo demás sensatos.
La historia dice: bloquea los rastreadores, crea escasez, cobra por el acceso, recibe el dinero. La parte de bloquear funcionó. La parte de cobrar, hasta ahora, no.
El pago por rastreo se lanzó en julio de 2025 y sigue en beta cerrada más de un año después. Nunca se ha publicado una cifra en dólares, un número de transacciones ni una cantidad de rastreadores que paguen. Los participantes con nombre propio son empresas pequeñas. Ninguno de los mayores laboratorios de IA paga.
El dato más instructivo vino de Stack Overflow, que activó el pago por rastreo a principios de 2026. Así describe Josh Zhang, de Stack Overflow, lo que ocurrió: "cuando activamos Pay Per Crawl y empezamos a servir, creo que como un 402, parte del tráfico de esos bots que antes simplemente recibían un bloqueo 403, dejaron de mandarnos tráfico." No pagaron. Se fueron.
Circula mucho una estadística según la cual se emiten más de mil millones de respuestas HTTP 402 al día. Léela con cuidado. Un 402 es un presupuesto que nadie aceptó. Mide rechazo, no ingresos.
Después, en julio de 2026, la unidad de facturación cambió del rastreo al uso, es decir, pago cuando tu contenido aparece en una respuesta generada. Es una idea mejor. También es una admisión de que la primera idea no logró fijar precio. La empresa que la opera la llama un experimento, y su director ejecutivo ha dicho públicamente que el sistema de liquidación necesario para esto a escala de internet tendría que soportar bastante más de un millón de transacciones por segundo, y que nadie lo ha construido.
Mientras tanto, todos los acuerdos que de verdad han movido dinero en este terreno han sido licencias bilaterales directas entre una empresa de IA y un gran titular de derechos, saltándose por completo toda la infraestructura intermediaria.
Así que el resumen honesto para quien esté construyendo algo: ser fácil de leer para los agentes rinde hoy. Cobrar de los agentes todavía no existe como mercado. Haz lo primero. No presupuestes lo segundo.
El apalancamiento sí fue real, eso sí, y es la parte que merece reconocimiento. Convertir la negativa en un solo clic creó un poder de negociación que los editores no tenían antes, y detrás llegaron decenas de acuerdos de licencia. La infraestructura no se convirtió en el mercado. Se convirtió en la razón por la que se pudo negociar un mercado.
Qué significa esto si lees y aprendes en línea
Aléjate un momento de la infraestructura, porque hay una consecuencia para cualquiera que use la web para aprender.
Están pasando dos cosas a la vez. La web abierta es cada vez más difícil de alcanzar, puerta tras puerta. Y su interfaz está pasando de una lista de enlaces que evalúas tú a un párrafo de texto sintetizado en el que sobre todo tienes que confiar.
Ambas tendencias mueven el valor en la misma dirección: lo alejan de encontrar información, que ahora es casi gratis, y lo acercan a juzgarla, conservarla y poder mostrar de dónde salió. Una respuesta generada puede producirse infinitas veces. Un registro de lo que una persona concreta leyó, de lo que le pareció digno de guardar y del pasaje exacto del que salió, no.
Esa es la capa duradera, y es la razón por la que construimos Glasp como lo hacemos. Cuando usas el resaltador web de Glasp, lo que guardas no es el resumen de una página. Es la frase que elegiste, con su fuente adjunta y una fecha encima. Cuando generas resúmenes de videos de YouTube, las marcas de tiempo siguen unidas a la transcripción para que la afirmación siga siendo verificable. Tus resaltados de Kindle llegan al mismo lugar. Y como los resaltados son públicos por defecto, lo que un lector marca como digno de guardar se convierte en una señal para todos los demás, que es exactamente el tipo de juicio que ningún modelo produce por sí solo.
También hay una versión práctica de esto. Si tus notas ponen la procedencia primero, sobreviven al cambio. Puedes entregárselas a un asistente de IA como contexto sin entregarle tu criterio, que es la diferencia entre usar un modelo y subcontratarle tu pensamiento. Hemos escrito más sobre esa tensión en la trampa del pensamiento con IA y sobre por qué la curación se está volviendo la habilidad escasa en el curador humano en la era de la IA.
La web se está reconstruyendo para las máquinas. La parte que merece protegerse es la que registra qué decidieron los humanos que importaba.
Preguntas frecuentes
¿Qué cambia exactamente el 15 de septiembre de 2026?
El viejo interruptor único de "bloquear bots de IA" deja paso a tres controles independientes: búsqueda, agente y entrenamiento. Para los dominios que se incorporen a Cloudflare a partir de esa fecha, el acceso de entrenamiento y de agentes queda bloqueado por defecto en las páginas que muestran anuncios, mientras que la búsqueda sigue permitida. Las configuraciones existentes no se reescriben por ti, lo cual suena tranquilizador pero significa lo contrario de lo que la gente supone: si nunca configuras los nuevos controles, has tomado una decisión al no tomarla. Ten en cuenta además que los rastreadores que sirven a varios propósitos a la vez se juzgan por todos ellos, así que bloquear el entrenamiento también bloquea a Googlebot.
¿Debería bloquear los rastreadores de IA en mi sitio?
Depende de lo que obtengas de ellos, y la división en tres por fin te permite responder bien a eso. Si aparecer dentro de las respuestas de IA te trae lectores o clientes, permite la categoría de entrada para IA, porque es la que devuelve gente. El entrenamiento es una pregunta aparte con una respuesta distinta para casi todo el mundo, ya que no produce ni citas ni tráfico. Bloquearlo todo es una opción legítima, pero entiende que estás renunciando a la descubribilidad, y para la mayoría de los sitios en 2026 ese costo es mayor que la exposición al entrenamiento.
¿Bloquear rastreadores hace realmente que las empresas de IA paguen?
Hasta ahora no. Los esquemas de pago llevan en beta limitada desde mediados de 2025 sin ingresos publicados, y los mayores laboratorios no participan. Lo que sí ha producido el bloqueo es poder de negociación, que llevó a varios acuerdos de licencia directos para grandes editores. Si no eres un gran editor, trata el bloqueo como control sobre tu contenido, no como un plan de ingresos.
¿Es Web Bot Auth un estándar real que debería implementar?
Es real y varias plataformas grandes lo implementan, pero todavía no es un estándar. A agosto de 2026 existe como Internet-Drafts individuales en el IETF, sin adopción por ningún grupo de trabajo y sin RFC. Si operas un rastreador o un agente, adoptarlo es sensato porque es la vía para que te traten como un actor conocido. Si tienes un sitio web, tú no lo implementas: simplemente te beneficias cuando lo hacen los bots que te visitan.
¿Qué es lo que más rinde de todo lo que puedo hacer esta semana?
Configura tus tres controles de rastreo de forma deliberada en lugar de dejarlos por defecto, y luego haz que tus páginas clave sean baratas de analizar: encabezados HTML reales, contenido presente sin JavaScript, fechas y autoría visibles. Todo lo demás de la lista importa, pero esas dos cosas se hacen en una tarde y te ponen por delante de la mayoría de los 200.000 dominios principales.
¿Cómo sé si algo de esto está funcionando?
Deja de contar visitas de rastreadores y empieza a contar dos cosas: si tu contenido aparece en las respuestas cuando preguntas a los principales asistentes sobre tu tema, y si llega alguien desde esos asistentes. El volumen de rastreo se mueve por razones que no tienen nada que ver con tu valor, y por eso incluso los proveedores que venden analíticas de rastreo han dejado de usarlo como métrica de éxito.
Reflexión final
El cambio interesante no es que las empresas de IA estén rastreando la web. Es que la web cambió calladamente su respuesta a una pregunta que había respondido igual desde 1994.
Durante treinta años el valor por defecto fue sí, tómalo, y avísanos si prefieres que no lo hagamos. En 2026 el valor por defecto es cada vez más no, declárate primero. Eso ocurrió en un año aproximadamente, y lo decidió menos la legislación o los organismos de estandarización que la pantalla de ajustes que unos cuantos millones de dueños de sitios aceptaron sin leer.
Que eso sea un rescate o un cercamiento depende de dónde estés parado. En cualquier caso, la respuesta práctica es la misma: decide qué permites en lugar de heredarlo, ponte fácil de leer para los agentes que quieras y conserva tu propio registro de lo que aprendiste y de dónde salió. Ese último es el que ninguna empresa de infraestructura puede hacer por ti, y es el que conserva su valor sin importar hacia qué lado giren las puertas.
Empieza por la frase que querrías volver a encontrar. Glasp está hecho exactamente para eso, y probarlo es gratis.