AI

Das Agent-Ready-Web: Wie sich das Internet geschlossen hat und was man dagegen tun kann

Dreißig Jahre lang war das Web offen, sofern sich nicht jemand die Mühe machte, Sie zu blockieren. In rund zwölf Monaten wurde es geschlossen, sofern Sie sich nicht selbst deklarieren. Hier steht, wie es dazu kam, wo die Sache 2026 tatsächlich steht und was ein Entwickler am Montagmorgen tun sollte.

15 Min. Lesezeit
Wichtige Erkenntnisse
    • Die Voreinstellung kippte, und zwar schnell: Ab Juli 2025 wurden neue Websites hinter dem größten Reverse Proxy des Internets gefragt, ob sie KI-Crawler zulassen wollen, wobei Blockieren die Ausgangsposition war. Über eine Million Kunden hatten schon vorher eine Ein-Klick-Sperre aktiviert.
  • Die Kluft zwischen Crawling und Traffic ist enorm: Bis Juli 2025 rief ein KI-Unternehmen rund 38.000 Seiten ab, um einen einzigen Besucher zurückzuschicken. Der alte Handel der Suchmaschinen, „wir kopieren Ihre Seite und schicken Ihnen Leser", gilt nicht mehr.
  • Jede Agent-Anfrage passiert heute vier Tore: Compute, Identität, Zugriff und Bezahlung. Genau deshalb sind ein Dutzend scheinbar unzusammenhängender Ankündigungen aus 2025 und 2026 in Wahrheit ein einziges Produkt.
  • Das meiste davon ist noch nicht ausgeliefert: Crawler-Zahlungen befinden sich seit über einem Jahr in einer geschlossenen Beta ohne offengelegte Umsätze, und der Standard für Bot-Identität ist weiterhin eine Sammlung einzelner Entwürfe, kein RFC.
  • Fast niemand ist agent-ready, und genau darin liegt die Chance: Von den Top-200.000-Domains haben 78 % eine robots.txt, 4 % deklarieren maschinenlesbare Nutzungssignale, 3,9 % liefern auf Anfrage Markdown aus, und weniger als 15 stellen eine maschinell aufrufbare Schnittstelle bereit.
  • Lesbar und bezahlt sind zwei verschiedene Probleme: Ihre Inhalte für Agenten leicht nutzbar zu machen, zahlt sich heute aus. Pro Abruf bezahlt zu werden, größtenteils nicht, und die Unternehmen, die es versucht haben, können das belegen.

Drei Epochen in drei Jahren

Fast das gesamte Leben des Webs lang wurde Crawling über ein Ehrensystem geregelt. Die robots.txt ist eine Bitte, kein Zaun. Sie funktionierte, weil der dahinterliegende Handel fair war: Suchmaschinen kopierten Ihre Seite und schickten Ihnen im Gegenzug Leser.

Generative KI hat diesen Wechselkurs zerstört, und die Reaktion kam in drei deutlich unterscheidbaren Wellen.

Epoche eins, etwa 2022 bis Mitte 2024: das freie Spiel der Kräfte. Trainingskorpora wurden aus allem zusammengestellt, was erreichbar war. Die meisten Website-Betreiber hatten keine Ahnung, welche Bots sie besuchten, geschweige denn warum. Werkzeuge, um das herauszufinden, gab es außerhalb der Server-Logs kaum.

Epoche zwei, Mitte 2024 bis 2025: Blockieren wurde zum Ein-Klick-Vorgang. Im September 2024 lieferte Cloudflare einen einzelnen Schalter aus, um KI-Crawler zu blockieren, kostenlose Tarife eingeschlossen. Bis Juli 2025 hatten laut Unternehmen mehr als eine Million Kunden ihn aktiviert. Am 1. Juli 2025 ging man dann noch weiter: Neue Domains wurden beim Onboarding gefragt, ob sie KI-Crawler zulassen wollen, wobei Blockieren die Ausgangsposition war. Die Ankündigung trug 48 Unterstützer, eine ungewöhnlich breite Koalition, zu der die Associated Press, The Atlantic, Condé Nast, Gannett, TIME, Reddit, Pinterest, Quora und Stack Overflow gehörten.

Am selben Tag tauchte ein Experiment namens Pay per Crawl auf. Der Mechanismus war elegant: Eine Website setzt einen Preis, nicht zahlende Crawler erhalten HTTP 402 Payment Required, und zahlende versuchen es erneut, diesmal mit angehängten Zahlungsdaten.

Im September 2025 kam die Content Signals Policy, eine Erweiterung der robots.txt, die die Erlaubnis in drei separate Fragen aufteilt statt in eine einzige. Soll diese Seite für die Suche indexiert werden? Als Eingabe für eine generierte Antwort dienen? Für das Training verwendet werden? Sie wurde unter CC0 veröffentlicht und automatisch auf rund 3,8 Millionen Domains mit verwalteten robots.txt-Dateien angewendet.

Epoche drei, 2026: Identität und Geld. Blockieren funktioniert, aber Blockieren allein ist grob. Wenn Sie manche Agenten zulassen wollen und andere nicht, müssen Sie zuerst wissen, welcher Agent überhaupt anklopft. Zwei Dinge folgten daraus. Web Bot Auth wendet HTTP Message Signatures (RFC 9421) mit Ed25519-Schlüsseln an, sodass ein Bot kryptografisch beweisen kann, wer er ist, was IP-Allowlists und leicht fälschbare User-Agent-Strings ersetzt. Und x402, ein offenes Zahlungsverfahren, das auf jenem lange schlummernden Statuscode 402 aufbaut, wechselte 2026 unter das Dach einer Organisation der Linux Foundation, zu deren Mitgliedern AWS, Cloudflare, Anthropic und Circle zählen.

Am 1. Juli 2026 wurden die Steuerungen dann rund um die Dreiteilung aus den Content Signals neu gebaut. Search, Agent und Training wurden zu unabhängigen Schaltern, verfügbar in jeder Tarifstufe, kostenlos eingeschlossen. Und ein Datum wurde gesetzt: Ab dem 15. September 2026 bekommen neu onboardende Domains Training und Agent standardmäßig blockiert, und zwar auf Seiten, die Werbung anzeigen, während Search erlaubt bleibt. Bestandskunden behalten, was sie konfiguriert haben, und müssen es selbst ändern. Die genannte Begründung lohnt die Wiederholung, weil sie der klarste Satz ist, den bisher jemand dazu geschrieben hat: Eine Anzeige ist ein Signal dafür, dass der Website-Betreiber wollte, dass dort ein Mensch landet.

Dieses Datum hat noch eine zweite Kante. Crawler, die mehr als einem Zweck dienen, darunter Googlebot, Bingbot und Applebot, werden nach all ihren Verhaltensweisen beurteilt. Wer Training blockiert, blockiert sie also vollständig. Diese Kopplung zielt nicht auf Publisher. Sie zielt auf das eine Unternehmen, dessen Crawler sich niemand leisten kann abzulehnen.

Drei Jahre. Von standardmäßig offen zu standardmäßig geschlossen, entschieden im Wesentlichen durch den Onboarding-Bildschirm eines einzigen Unternehmens.


Wo wir tatsächlich stehen: die Crawl-to-Refer-Lücke

Die mit Abstand nützlichste Zahl in dieser ganzen Debatte ist ein Verhältnis: Wie viele Seiten ruft ein KI-Unternehmen bei Ihnen ab, um Ihnen einen Besucher zurückzuschicken?

Cloudflare begann im Juli 2025, diese Werte zu veröffentlichen, und die Spanne ist verblüffend.

PlattformCrawl-to-Refer, Januar 2025Crawl-to-Refer, Juli 2025
Anthropic286.930 : 138.066 : 1
OpenAI1.217 : 11.091 : 1
Perplexity55 : 1195 : 1
Microsoft39 : 141 : 1
Google4 : 15 : 1

Lesen Sie die Google-Zeile und danach noch einmal die Anthropic-Zeile. Die klassische Suche brauchte rund zwei bis fünf Seiten, um einen Besucher zu schicken. Antwortmaschinen nehmen Tausende.

Eine Einschränkung, die der Herausgeber zu seiner eigenen Metrik nennt und die fast jede Berichterstattung weglässt: Traffic aus nativen Mobile- und Desktop-Apps trägt keinen Referrer-Header, weshalb Verweise untererfasst werden und die Unternehmen mit der stärksten App-Nutzung schlechter aussehen, als sie sind. Die Richtung steht nicht in Zweifel. Der genaue Faktor schon.

Zwei weitere Zahlen rahmen das Bild. Über das Jahr 2025 hinweg entfielen rund 4,2 % aller HTML-Anfragen auf KI-Bots, ungefähr so viel wie auf den Googlebot allein. Und bis Mitte 2026 war mehr als die Hälfte des gesamten Traffics im Internet nicht menschlich.

Unterdessen schrumpfte die menschliche Seite weiter. Wenn Google eine KI-Zusammenfassung anzeigt, fällt der Anteil der Suchanfragen, die zu einem Klick auf eine Website führen, deutlich. Cloudflares Bericht vom Juli 2026 formulierte es drastisch: Von jeder Stunde, die online mit der Suche nach Informationen verbracht wird, entfallen nur etwa fünfzehn Minuten auf das offene Web.

Falls Sie sich gefragt haben, warum Ihre Analytics schlechter aussehen, obwohl Ihre Inhalte gut funktionieren, ist das die Form der Antwort. Unser Leitfaden zu AEO und GEO behandelt, was auf der Messseite zu tun ist.


Die vier Tore, die jede Agent-Anfrage passiert

Hier ist der Rahmen, durch den die Ankündigungen der letzten zwei Jahre plötzlich zusammenpassen.

Wenn ein Mensch eine Seite lädt, ist die Infrastrukturfrage simpel: ausliefern oder nicht. Wenn ein Agent eine Anfrage stellt, müssen vier Fragen beantwortet werden, meist im selben Roundtrip.

  1. Compute. Der Agent läuft irgendwo. Agent-Sessions sind ungewöhnliche Workloads: ein Nutzer, ein Agent, eine Aufgabe, lange am Leben, aber die meiste Zeit untätig, während auf ein Modell gewartet wird. Das ist eine ganz andere Form als ein Webserver, der Tausende gleichzeitiger Besucher bedient, und es hat Infrastrukturanbieter in Richtung leichtgewichtiger Isolates gedrängt, die im Leerlauf schlafen gehen, statt Container, die nach Uhrzeit abrechnen.
  2. Identität. Welcher Agent ist das, und wer hat ihn autorisiert? Ein User-Agent-String ist eine Behauptung, kein Nachweis. Genau dafür existiert Web Bot Auth, und deshalb lautet die nützliche Unterscheidung nicht mehr Bot gegen Mensch. Sie lautet: welcher Bot, von wem geschickt, wozu berechtigt.
  3. Zugriff. Worauf darf er zugreifen? Einen öffentlichen Artikel zu lesen, eine interne API aufzurufen und im eingeloggten Konto einer Person zu handeln, sind drei verschiedene Berechtigungen, die die meisten Websites derzeit als eine einzige behandeln.
  4. Bezahlung. Was schuldet er der Quelle, falls überhaupt etwas? Das ist das jüngste Tor und mit Abstand das am wenigsten geklärte.

Beachten Sie: Vor zwei Jahren waren das vier getrennte Produktkategorien, nämlich Hosting, Bot-Management, Zugriffskontrolle und Zahlungen. Die Wette der ganzen Branche lautet, dass sie für Agent-Traffic zu einer einzigen Entscheidung verschmelzen. Das ist die eigentliche Strategie hinter dem meisten, worüber Sie gelesen haben. Es erklärt auch, warum sich Infrastrukturunternehmen plötzlich für die Ökonomie von Publishern interessieren, ein Thema, das sie ein Jahrzehnt lang gemieden haben.


Wer die Tore kontrolliert

Nun der unbequeme Teil, und er gehört klar ausgesprochen, selbst wenn Ihnen die Richtung gefällt.

Ein einziges Unternehmen sitzt vor etwa einem Fünftel des Webs. Dieses Unternehmen hat die Spezifikation für Bot-Identität geschrieben, betreibt die Schlüsselregistrierung, von der sie abhängt, entscheidet, welche Bots verifiziert sind, entscheidet einseitig über deren Entfernung, legt die Crawler-Voreinstellungen für Kunden in kostenlosen Tarifen fest, hat im Januar 2026 einen Marktplatz für Content-Lizenzierung übernommen, tritt bei den Zahlungen als Merchant of Record auf und hat bei einer Wettbewerbsbehörde beantragt, seinen größten Konkurrenten zu zwingen, dessen Crawler nach Zweck aufzuteilen.

Jeder einzelne dieser Punkte ist nachvollziehbar. Zusammen beschreiben sie eine private Partei mit sehr großem Ermessensspielraum darüber, wer das öffentliche Web lesen darf.

Die Macht zur Ent-Verifizierung ist die scharfe Kante. Im August 2025 wurde Perplexity von der Liste verifizierter Bots gestrichen, nachdem ein Bericht behauptet hatte, das Unternehmen nutze nicht deklarierte Crawler mit wechselnden Identitäten, um Seiten zu erreichen, die es blockiert hatten. Perplexity bestritt die Zuordnung und nannte den Bericht einen PR-Stunt. Wie auch immer die Wahrheit aussieht, der Ablauf verdient Aufmerksamkeit: ein Bericht, eine Entscheidung, eine Durchsetzungsmaßnahme über einen großen Teil des Webs hinweg, und kein dokumentierter Einspruchsweg.

Ebenfalls wissenswert: Die Identitätsebene ist weniger gefestigt, als die Berichterstattung nahelegt. Stand August 2026 existiert Web Bot Auth als Sammlung einzelner Entwürfe bei der IETF. Keiner davon wurde von einer Arbeitsgruppe übernommen, und keiner ist ein RFC. Behauptungen, ein Standardisierungsgremium habe die Sache finalisiert, kursieren breit und sind falsch. Behandeln Sie es als Herstellerimplementierung, die zwei große Plattformen mitgezeichnet haben. Das ist etwas Reales, aber nicht dasselbe wie ein Standard.

Die Gerichte bewegen sich übrigens schneller als die Standardisierungsgremien, und zwar in eine Richtung, die Zäune stärker belohnt als Schilder. Im Juli 2026 ließ ein US-Gericht eine Klage zu, wonach das Umgehen von Anti-Bot-Maßnahmen unabhängig von einer Urheberrechtsverletzung nach der Umgehungsschutzbestimmung des DMCA einklagbar ist. Früher im selben Jahr entschied ein anderes Gericht, dass die Einwilligung eines Nutzers einen Agenten nicht berechtigt, auf eine Plattform zuzugreifen, die ihm den Zugang entzogen hat. Und der größte Urheberrechtsvergleich der US-Geschichte, im Juli 2026 genehmigt, bewertete raubkopiertes Trainingsmaterial mit rund 3.100 US-Dollar pro Werk.

Das Infrastrukturargument und das juristische Argument laufen von entgegengesetzten Enden auf dieselbe Schlussfolgerung zu: Deklarieren Sie, was Sie erlauben, und machen Sie die Grenze real.


Was ausgeliefert ist und was noch Pressemitteilung ist

Das ist der Abschnitt zum Merken. Die Erzählung rund um das agentische Web läuft dem, was man tatsächlich kaufen kann, deutlich voraus, und die Lücke ist leicht zu übersehen, weil beides auf dieselbe Weise angekündigt wird.

FähigkeitStatus, August 2026
Ein-Klick-Blockade für KI-CrawlerAusgeliefert, in allen Tarifen inklusive kostenlos
Dreiteilige Steuerung Search / Agent / TrainingAusgeliefert in allen Tarifen inklusive kostenlos. Neue Voreinstellungen gelten ab dem 15. September 2026 für neu onboardende Domains
Content Signals in der robots.txtAusgeliefert, CC0, auf rund 3,8 Mio. Domains angewendet
Crawler-Analytics und Zulassen oder Blockieren pro BotAusgeliefert, wobei die reichhaltigsten Dashboards hinter Enterprise-Tarifen liegen
Gehostete Remote-MCP-ServerAusgeliefert und breit im Einsatz
Kryptografische Bot-Identität (Web Bot Auth)Von mehreren großen Plattformen implementiert, aber einzelne IETF-Entwürfe, kein RFC
Pay per CrawlGeschlossene Beta seit Juli 2025. Es wurden nie Umsätze, Transaktionszahlen oder die Zahl zahlender Crawler veröffentlicht
Pay per Use, Abrechnung nach Zitat statt nach AbrufIm Juli 2026 angekündigt und vom eigenen Anbieter als Experiment bezeichnet
Stablecoin-Paywall für Seiten, APIs und Agent-ToolsWarteliste. Vollständig im Futur formuliert

Die praktische Regel, die sich daraus ergibt: bei allgemeiner Verfügbarkeit einführen, auf Beta nur mit Ausstiegspfad prototypisieren und niemals eine Umsatzposition in einen Plan schreiben, die von etwas aus der unteren Hälfte dieser Tabelle abhängt.


Die Adoptionslücke ist die Chance

Im April 2026 bewertete Cloudflare die Top-200.000-Domains danach, wie bereit sie für Agent-Traffic sind, und veröffentlichte die Ergebnisse. Sie sind bemerkenswert.

FähigkeitAnteil der Top-200.000-Domains
Hat eine robots.txt78 %
Deklariert maschinenlesbare Nutzungssignale (Content Signals)4 %
Unterstützt Content Negotiation für Markdown3,9 %
Stellt eine maschinell aufrufbare Schnittstelle bereit (MCP-Server-Card oder API-Katalog)Insgesamt weniger als 15 Websites

Weniger als 15. Von 200.000. Die eigene Zusammenfassung dazu, wie agent-ready das Web ist: „Die kurze Antwort: nicht besonders."

Vergleichen Sie das mit Suchmaschinenoptimierung, wo jeder Ihrer Wettbewerber dieselben vierzig Dinge tut wie Sie. Hier sind die Grundlagen unbesetzt. Die meisten davon kosten einen Nachmittag.

Es gibt einen Grund, warum Markdown-Aushandlung mehr zählt, als es klingt. Wenn ein Crawler eine moderne Seite abruft, bezahlt er für Ihre Navigation, Ihr Cookie-Banner, Ihre Analytics-Tags und die Hydration-Payload Ihres Frameworks, bevor er einen einzigen Satz Ihrer eigentlichen Argumentation erreicht. Sauberes Markdown an Clients auszuliefern, die danach fragen, senkt die Tokenzahl drastisch. Billiger zu lesen heißt: eher vollständig gelesen und eher korrekt zitiert.


Die Agent-Ready-Checkliste

Sortiert nach Ertrag pro Arbeitsstunde.

SchrittWas es bedeutetWarum es sich lohnt
1. Absicht deklarierenSuche, KI-Eingabe und Training als drei getrennte Antworten setzen statt als pauschales Erlauben oder VerbietenDie Änderung der Voreinstellungen im September 2026 macht Schweigen zu einer Entscheidung. Außerdem: Ein ausdrücklicher Nutzungsvorbehalt hat in der EU rechtliches Gewicht
2. Günstig zu lesen seinSauberes HTML, echte Überschriften, Markdown für Clients, die es anfragen, keine kritischen Inhalte hinter clientseitigem RenderingSenkt die Kosten, Sie zu zitieren, und reduziert Fehlzitate
3. In Einheiten zitierfähig seinIn sich geschlossene Abschnitte, Definitionen weit oben, Tabellen für Vergleiche, Datumsangaben an AussagenAntwortmaschinen zitieren Fragmente, keine Seiten
4. Aufrufbar seinEinen MCP-Server bereitstellen, wenn Sie Daten oder Aktionen haben, die den Zugriff wert sindWeniger als 15 der Top 200.000 haben das getan
5. Zuordenbar seinStabile URLs, sichtbare Autorschaft, ausdrückliche Veröffentlichungs- und Aktualisierungsdaten, Canonical-TagsZuordnung ist die Einheit, auf der jedes vorgeschlagene Zahlungsmodell aufbaut
6. Zitate messen, nicht CrawlsVerfolgen, ob Sie in Antworten auftauchen und ob jemand ankommt, nicht wie viele Bytes Bots gezogen habenSelbst die Anbieter, die Crawl-Analytics verkaufen, sagen inzwischen, dass die Crawl-Zahl ein kaputter Ersatzwert für Wert ist

Schritt sechs verdient Betonung, weil er den naheliegenden Instinkt umkehrt. Im Juli 2026 rückte Cloudflare von der Abrechnung pro Crawl ab und nannte den Grund: Mehr als die Hälfte des Crawl-Traffics guter Bots entfällt auf das erneute Abrufen von Seiten, die sich nicht geändert haben. In ihren Worten könne eine einzelne Seite „einmal gecrawlt und dann in Tausenden Antworten zitiert werden, oder immer wieder gecrawlt und nie verwendet werden." Wenn das Unternehmen, dessen ganzes Geschäft im Zählen von Crawls besteht, sagt, dass Crawl-Zahlen keinen Wert messen, sollte man ihm glauben.

Wenn Sie die Datei-für-Datei-Mechanik für Schritt eins brauchen, haben wir sie separat aufgeschrieben in llms.txt vs. robots.txt vs. ai.txt. Für Schritt vier wird die Protokollebene in den Protokollkriegen des agentischen Webs behandelt.


Die Falle: lesbar ist nicht dasselbe wie bezahlt

An dieser Stelle laufen viele ansonsten vernünftige Pläne aus dem Ruder.

Die Geschichte geht so: Crawler blockieren, Knappheit erzeugen, Zugang in Rechnung stellen, bezahlt werden. Der Blockierteil hat funktioniert. Der Abrechnungsteil bisher nicht.

Pay per Crawl startete im Juli 2025 und befindet sich mehr als ein Jahr später weiterhin in geschlossener Beta. Weder ein Dollarbetrag noch eine Transaktionszahl noch die Anzahl zahlender Crawler wurde je veröffentlicht. Die namentlich genannten Teilnehmer sind kleine Unternehmen. Keines der größten KI-Labore zahlt.

Der lehrreichste Datenpunkt kam von Stack Overflow, das Pay per Crawl Anfang 2026 einschaltete. Josh Zhang von Stack Overflow beschreibt, was passierte: „Als wir Pay Per Crawl einschalteten und begannen, einen Teil des Traffics von jenen Bots, die vorher einfach ein 403 als Sperre bekamen, wohl als 402 auszuliefern, schickten sie uns keinen Traffic mehr." Sie zahlten nicht. Sie gingen.

Es kursiert eine viel zitierte Statistik, wonach täglich über eine Milliarde HTTP 402-Antworten hinausgehen. Lesen Sie sie genau. Ein 402 ist ein Preisangebot, das niemand angenommen hat. Es misst Ablehnung, nicht Umsatz.

Im Juli 2026 wechselte dann die Abrechnungseinheit vom Crawl zur Nutzung, also Zahlung, wenn Ihr Inhalt in einer generierten Antwort auftaucht. Das ist die bessere Idee. Es ist zugleich ein Eingeständnis, dass die erste Idee keinen Preis gefunden hat. Das Unternehmen dahinter nennt es ein Experiment, und sein CEO hat öffentlich gesagt, dass die dafür nötige Abwicklungsschiene in Internet-Größenordnung weit mehr als eine Million Transaktionen pro Sekunde verkraften müsste und dass sie niemand gebaut hat.

Unterdessen war jeder Deal, der in diesem Feld tatsächlich Geld bewegt hat, eine direkte bilaterale Lizenz zwischen einem KI-Unternehmen und einem großen Rechteinhaber, unter vollständiger Umgehung der gesamten Vermittlungsinfrastruktur.

Die ehrliche Zusammenfassung für alle, die etwas bauen, lautet also: Für Agenten leicht lesbar zu sein, zahlt sich heute aus. Von Agenten bezahlt zu werden, existiert noch nicht als Markt. Tun Sie das Erste. Kalkulieren Sie nicht mit dem Zweiten.

Der Hebel war allerdings real, und dieser Teil verdient Anerkennung. Die Ablehnung zu einem einzigen Klick zu machen, schuf eine Verhandlungsmacht, die Publisher zuvor nicht hatten, und Dutzende Lizenzabschlüsse folgten. Die Infrastruktur wurde nicht zum Markt. Sie wurde zu dem Grund, aus dem ein Markt überhaupt verhandelbar war.


Was das bedeutet, wenn Sie online lesen und lernen

Treten Sie einen Moment von der Infrastruktur zurück, denn es gibt eine Konsequenz für alle, die das Web zum Lernen nutzen.

Zwei Dinge geschehen gleichzeitig. Das offene Web wird Tor für Tor schwerer erreichbar. Und die Schnittstelle dazu verschiebt sich von einer Liste von Links, die Sie selbst bewerten, hin zu einem Absatz synthetisierten Textes, dem Sie weitgehend vertrauen müssen.

Beide Trends verschieben den Wert in dieselbe Richtung: weg vom Finden von Informationen, das inzwischen fast kostenlos ist, hin zum Beurteilen, Aufbewahren und Belegen, woher etwas stammt. Eine generierte Antwort lässt sich unendlich oft erzeugen. Ein Protokoll darüber, was eine bestimmte Person gelesen hat, was sie für aufbewahrenswert hielt und aus genau welcher Passage es stammt, nicht.

Das ist die dauerhafte Ebene, und genau deshalb bauen wir Glasp so, wie wir es tun. Wenn Sie Glasps Web-Highlighter verwenden, ist das, was Sie speichern, keine Zusammenfassung einer Seite. Es ist der Satz, den Sie ausgewählt haben, mit angehängter Quelle und einem Datum darauf. Wenn Sie YouTube-Videozusammenfassungen erstellen, bleiben die Timestamps am Transkript hängen, sodass die Aussage überprüfbar bleibt. Ihre Kindle-Highlights landen am selben Ort. Und weil Highlights standardmäßig öffentlich sind, wird das, was eine Leserin als aufbewahrenswert markiert, zu einem Signal für alle anderen, und genau diese Art von Urteil bringt kein Modell von sich aus hervor.

Davon gibt es auch eine praktische Variante. Wenn Ihre Notizen provenienzorientiert aufgebaut sind, überstehen sie den Umbruch. Sie können sie einem KI-Assistenten als Kontext geben, ohne Ihr Urteil mit abzugeben, und das ist der Unterschied zwischen dem Nutzen eines Modells und dem Auslagern des eigenen Denkens an eines. Mehr zu dieser Spannung haben wir in der KI-Denkfalle geschrieben und dazu, warum Kuratieren zur knappen Fähigkeit wird, in Der menschliche Kurator im Zeitalter der KI.

Das Web wird für Maschinen umgebaut. Schützenswert ist der Teil, der festhält, was Menschen für wichtig befunden haben.


Häufig gestellte Fragen

Was ändert sich am 15. September 2026 tatsächlich?

Der alte einzelne Schalter „KI-Bots blockieren" weicht drei unabhängigen Steuerungen: Search, Agent und Training. Für Domains, die neu zu Cloudflare onboarden, sind Training und Agent-Zugriff auf Seiten mit Werbung standardmäßig blockiert, während Search erlaubt bleibt. Bestehende Konfigurationen werden nicht für Sie umgeschrieben, was beruhigend klingt, aber das Gegenteil dessen bedeutet, was die meisten annehmen: Wenn Sie die neuen Steuerungen nie setzen, haben Sie eine Wahl getroffen, indem Sie keine getroffen haben. Beachten Sie außerdem, dass Crawler, die mehreren Zwecken zugleich dienen, nach allen davon beurteilt werden. Wer Training blockiert, blockiert damit auch den Googlebot.

Sollte ich KI-Crawler auf meiner Website blockieren?

Das hängt davon ab, was Sie von ihnen haben, und die Dreiteilung erlaubt endlich eine saubere Antwort. Wenn das Auftauchen in KI-Antworten Ihnen Leser oder Kunden bringt, erlauben Sie die Kategorie KI-Eingabe, denn das ist diejenige, die Menschen zurückverweist. Training ist eine separate Frage mit einer für die meisten anderen Antwort, da es weder Zitat noch Traffic erzeugt. Alles zu blockieren ist eine echte Option, aber machen Sie sich klar, dass Sie damit Auffindbarkeit eintauschen, und für die meisten Websites ist das 2026 ein höherer Preis als das Trainingsrisiko.

Bringt das Blockieren von Crawlern KI-Unternehmen wirklich zum Zahlen?

Bisher nicht. Zahlungsmodelle sind seit Mitte 2025 in eingeschränkter Beta, ohne veröffentlichte Umsätze, und die größten Labore machen nicht mit. Was Blockieren erzeugt hat, ist Verhandlungsmacht, die zu einer Reihe direkter Lizenzabschlüsse für große Publisher geführt hat. Wenn Sie kein großer Publisher sind, betrachten Sie Blockieren als Kontrolle über Ihre Inhalte, nicht als Umsatzplan.

Ist Web Bot Auth ein echter Standard, den ich implementieren sollte?

Es ist real und wird von mehreren großen Plattformen implementiert, aber es ist noch kein Standard. Stand August 2026 existiert es als einzelne Internet-Drafts bei der IETF, ohne Übernahme durch eine Arbeitsgruppe und ohne RFC. Wenn Sie einen Crawler oder Agenten betreiben, ist die Einführung sinnvoll, weil Sie so als bekannter Akteur behandelt werden. Wenn Sie eine Website betreiben, implementieren Sie es nicht, Sie profitieren einfach, wenn die Bots, die bei Ihnen anklopfen, es tun.

Was bringt diese Woche den größten Ertrag?

Setzen Sie Ihre drei Crawler-Steuerungen bewusst statt per Voreinstellung, und machen Sie dann Ihre wichtigsten Seiten günstig zu parsen: echte HTML-Überschriften, Inhalte auch ohne JavaScript vorhanden, Datum und Autorschaft sichtbar. Alles andere auf der Checkliste zählt auch, aber diese zwei Punkte kosten einen Nachmittag und setzen Sie vor die meisten der Top-200.000-Domains.

Woran erkenne ich, ob irgendetwas davon wirkt?

Hören Sie auf, Crawler-Zugriffe zu zählen, und zählen Sie stattdessen zwei Dinge: ob Ihre Inhalte in Antworten auftauchen, wenn Sie die großen Assistenten zu Ihrem Thema befragen, und ob von dort jemand bei Ihnen ankommt. Das Crawl-Volumen bewegt sich aus Gründen, die nichts mit Ihrem Wert zu tun haben, weshalb selbst die Anbieter, die Crawl-Analytics verkaufen, davon als Erfolgsmetrik abgerückt sind.


Schlussgedanke

Das Interessante ist nicht, dass KI-Unternehmen das Web crawlen. Es ist, dass das Web still und leise seine Antwort auf eine Frage geändert hat, die es seit 1994 immer gleich beantwortet hatte.

Dreißig Jahre lang lautete die Voreinstellung: Ja, nehmen Sie es, und sagen Sie uns Bescheid, wenn Ihnen das nicht recht ist. Seit 2026 lautet sie zunehmend: Nein, deklarieren Sie sich zuerst. Das geschah in etwa einem Jahr, und entschieden wurde es weniger durch Gesetzgebung oder Standardisierungsgremien als durch den Einstellungsbildschirm, den ein paar Millionen Website-Betreiber weggeklickt haben, ohne ihn zu lesen.

Ob das eine Rettung oder eine Einhegung ist, hängt davon ab, wo Sie stehen. So oder so ist die praktische Reaktion dieselbe: Entscheiden Sie, was Sie erlauben, statt es zu erben, machen Sie sich für die Agenten, die Sie wollen, leicht lesbar, und führen Sie Ihr eigenes Protokoll darüber, was Sie gelernt haben und woher es kam. Das Letzte ist der Teil, den kein Infrastrukturunternehmen für Sie übernehmen kann, und es ist der Teil, der seinen Wert behält, egal in welche Richtung die Tore schwingen.

Beginnen Sie mit dem Satz, den Sie wiederfinden wollen. Glasp ist genau dafür gebaut, und es ist kostenlos zum Ausprobieren.

Start building your knowledge library

Highlight what matters as you read across the web. Save insights from articles, books, and YouTube videos in one place.

Get Started Free