エージェント対応のWeb: インターネットはいかに閉じたのか、そして何をすべきか

3年で3つの時代

Webの歴史のほとんどの期間、クロールは性善説で運用されてきました。robots.txtはお願いであって、フェンスではありません。それでも機能していたのは、その下にある取引が公平だったからです。検索エンジンはあなたのページをコピーし、その代わりに読者を送り返してくれました。

生成AIはこの交換レートを壊しました。そして反応は、3つのはっきりした波となって現れました。

第1の時代、おおよそ2022年から2024年半ばまで: 無法地帯。 学習用コーパスは、到達できるものなら何でもかき集めて構築されました。サイト運営者の大半は、どのボットが訪れているのかすら知らず、まして理由など分かりません。それを調べるツールも、サーバーログ以外にはほとんど存在しませんでした。

第2の時代、2024年半ばから2025年まで: ブロックがワンクリックになった。 2024年9月、CloudflareはAIクローラーをブロックする単一のトグルを出荷しました。無料プランも対象です。2025年7月には、100万を超える顧客がそれを有効にしたと同社は発表しています。そして2025年7月1日、さらに踏み込みます。新規ドメインはオンボーディングの途中でAIクローラーを許可するか尋ねられ、初期状態はブロックになりました。この発表には48の賛同企業が名を連ねました。Associated Press、The Atlantic、Condé Nast、Gannett、TIME、Reddit、Pinterest、Quora、Stack Overflowを含む、異例なほど幅広い連合です。

同じ日、pay per crawlという実験も登場しました。仕組みは鮮やかです。サイトが価格を設定し、支払っていないクローラーには HTTP 402 Payment Required が返る。支払うクローラーは資格情報を添えてリトライする、というものです。

2025年9月にはContent Signals Policyが登場します。robots.txtの拡張で、これまでひとつだった許諾を3つの別々の問いに分割します。このページを検索のためにインデックスしてよいか。生成された回答の入力として使ってよいか。学習に使ってよいか。CC0で公開され、マネージドrobots.txtを使うおよそ380万ドメインに自動適用されました。

第3の時代、2026年: アイデンティティとお金。 ブロックは効きますが、ブロックだけでは大雑把すぎます。一部のエージェントだけ許可したいなら、まずドアを叩いているのがどのエージェントなのかを知る必要があります。そこから2つのものが生まれました。ひとつはWeb Bot Authで、HTTP Message Signatures（RFC 9421）とEd25519鍵を用いて、ボットが自分の身元を暗号的に証明できるようにします。IP許可リストや、簡単に偽装できるユーザーエージェント文字列の置き換えです。もうひとつはx402。長く眠っていた402ステータスコードの上に構築されたオープンな決済スキームで、2026年にLinux Foundation傘下の団体へ移管され、AWS、Cloudflare、Anthropic、Circleなどがメンバーに名を連ねています。

そして2026年7月1日、コントロールはContent Signalsの3分割を軸に作り直されました。Search、Agent、Trainingがそれぞれ独立したスイッチとなり、無料を含むすべてのプラン階層で利用可能になったのです。さらに期日も決まりました。2026年9月15日以降、新たにオンボーディングするドメインでは、広告を表示するページについてTrainingとAgentがデフォルトでブロックされ、Searchは許可されたままになります。既存顧客は設定済みの内容がそのまま維持され、変更したければ自分で変える必要があります。その根拠として示された説明は、この件について書かれた文章の中でもっとも明快なので、繰り返す価値があります。広告があるということは、そのサイトの運営者が「人間に来てほしい」と考えていたシグナルだ、というものです。

この期日には、もうひとつの刃があります。複数の目的を兼ねるクローラー、たとえばGooglebot、Bingbot、Applebotなどは、その全挙動をまとめて判定されます。つまりTrainingをブロックすると、それらは丸ごとブロックされます。この抱き合わせはパブリッシャーに向けたものではありません。狙いは、誰もクローラーを拒否できない、あの1社です。

3年間。デフォルトで開いていた状態から、デフォルトで閉じている状態へ。その大部分を決めたのは、たった1社のオンボーディング画面でした。

---

現在地: クロールと送客のギャップ

この議論全体でもっとも役に立つ数字は、ひとつの比率です。AI企業は、1人の訪問者を送り返すごとに、あなたのサイトから何ページ取得しているのか。

Cloudflareは2025年7月からこれを公表し始めました。その幅は驚くべきものです。

Googleの行を読んでから、もう一度Anthropicの行を読んでみてください。従来の検索は、1人の訪問者を送るのにおよそ2ページから5ページを要しました。回答エンジンは数千ページを要します。

公表元自身が自分の指標について付している注意書きがあり、ほとんどの記事がこれを落としています。ネイティブのモバイルアプリやデスクトップアプリからのトラフィックにはリファラーヘッダーが付かないため、送客は過小に計上されます。つまりアプリ利用が多い企業ほど、実態より悪く見えます。方向性に疑いの余地はありません。疑わしいのは正確な倍率のほうです。

もう2つの数字が全体像を縁取ります。2025年を通じて、AIボットはHTTPリクエスト全体のおよそ4.2%を占めました。これはGooglebot単体が占める割合とほぼ同じです。そして2026年半ばには、インターネット上の全トラフィックの半分以上が非人間になりました。

一方で、人間の側は縮み続けています。GoogleがAI要約を表示すると、Webサイトへのクリックが発生する検索の割合は急激に落ちます。Cloudflareの2026年7月のレポートは、それを率直にこう表現しました。情報を求めてオンラインで過ごす1時間のうち、オープンなWebで過ごす時間はおよそ15分にすぎない、と。

コンテンツの出来は悪くないのにアナリティクスの数字が悪化している理由が気になっていたなら、これがその答えの形です。計測面でどうすべきかについては、AEOとGEOのガイドで扱っています。

---

エージェントのリクエストが通る4つのゲート

ここ2年の発表がすべて腑に落ちる、その枠組みを紹介します。

人間がページを読み込むとき、インフラ側の問いは単純です。返すか、返さないか。ところがエージェントがリクエストを出すときは、4つの問いに答えなければなりません。しかも通常、同じ往復のなかで、です。

1. コンピュート。 エージェントはどこかで動いています。エージェントのセッションは変わったワークロードです。ユーザー1人、エージェント1つ、タスク1件で、寿命は長いのに、その大半はモデルの応答待ちでアイドル状態にあります。数千の同時訪問者をさばくWebサーバーとはまるで形が違い、これがインフラベンダーを、時間課金のコンテナではなく、アイドル時にハイバネートする軽量アイソレートへと押しやりました。
2. アイデンティティ。 これはどのエージェントで、誰が許可したのか。ユーザーエージェント文字列は主張であって、資格情報ではありません。Web Bot Authはこれを解決するために存在します。そして、もはや有用な区別は「ボットか人間か」ではない理由でもあります。問うべきは、どのボットが、誰に送られ、何を許されているのか、です。
3. アクセス。 何に到達してよいのか。公開記事を読むこと、内部APIを呼ぶこと、そして誰かのログイン済みアカウント上で操作すること。これは3つの異なる権限ですが、現状ほとんどのサイトはひとつとして扱っています。
4. 決済。 情報元に対して、何かを支払う義務があるのか。あるとすればいくらか。これがもっとも新しく、そして圧倒的に未確定のゲートです。

注目してほしいのは、2年前ならこれらが4つの別々のプロダクトカテゴリだったという点です。ホスティング、ボット管理、アクセス制御、決済。業界の賭けは、エージェントのトラフィックに関してはこれらがひとつの判断に統合される、というものです。あなたが読んできた発表の多くは、実のところこの戦略に基づいています。インフラ企業が突然、10年間避けてきたパブリッシャーの経済学を気にし始めた理由も、これで説明がつきます。

---

ゲートを握っているのは誰か

ここからは居心地の悪い話です。この方向性を歓迎している人にとっても、はっきり言っておく価値があります。

1社が、Webのおよそ5分の1の前に立っています。その会社は、ボットのアイデンティティ仕様を書き、それが依存する鍵レジストリを運営し、どのボットを検証済みとするかを決め、いつ1社を外すかを単独で決め、無料プラン顧客のクローラー初期設定を定め、2026年1月にはコンテンツライセンシングのマーケットプレイスを買収し、決済のmerchant of recordを務め、さらに競争当局に対して「最大の競合のクローラーを目的別に分割させるべきだ」と申し立てています。

どれか1つを取れば、いずれも妥当です。しかし合わせて見ると、そこにあるのは、公開されたWebを誰が読めるかについて相当な裁量を持つ一民間企業の姿です。

検証取り消しの権限が、その刃の先端です。2025年8月、Perplexityは検証済みボットのリストから外されました。ブロックされたページに到達するために、正体を次々に変える未申告のクローラーを使っていた、という報告が出たためです。Perplexityはその特定を否定し、報告を売名行為だと呼びました。真相はどうあれ、プロセスには目を向けておく価値があります。報告があり、判断が下され、Webの大きな部分に対して執行が行われ、そして文書化された異議申し立ての手続きはありません。

アイデンティティ層が、報道が思わせるほど固まっていないことも知っておくべきです。2026年8月時点で、Web Bot AuthはIETFの個人ドラフトとして存在しています。ワーキンググループに採択されたものはなく、RFCになったものもありません。標準化団体が最終化したという主張は広く出回っていますが、誤りです。大手プラットフォーム2社が共同で採用しているベンダー実装、と捉えるのが正しい。それ自体は実体のあるものですが、標準とは別物です。

ついでに言えば、裁判所は標準化団体より速く動いており、しかも「看板」より「フェンス」を評価する方向に進んでいます。2026年7月、米国の裁判所は、アンチボット対策の回避が著作権侵害とは別に、DMCAの回避禁止条項のもとで独立して訴えの対象になりうるとする請求の進行を認めました。同じ年の前半には、別の裁判所が、ユーザーの同意はアクセスを取り消したプラットフォームへエージェントがアクセスする根拠にはならないと判断しています。そして2026年7月に承認された米国史上最大の著作権和解は、海賊版の学習素材を1作品あたりおよそ3,100ドルと値付けしました。

インフラ側の論理と法律側の論理は、正反対の端から同じ結論に収束しつつあります。何を許すのかを宣言し、その境界を実体のあるものにせよ、ということです。

---

出荷されたものと、まだプレスリリースにすぎないもの

このセクションはブックマークしておいてください。エージェントWebをめぐる物語は、実際に買えるものよりずっと先を走っています。しかも両者は同じように発表されるため、その差は見落としやすいのです。

ここから導かれる実務上のルールはこうです。一般提供になってから採用する。ベータで試作するなら必ず撤退経路を用意する。そして、上の表の下半分に依存する売上をプランに書き込むことは絶対にしない。

---

普及率のギャップこそがチャンス

2026年4月、Cloudflareは上位20万ドメインがエージェントのトラフィックにどれだけ対応できているかを採点し、結果を公表しました。その内容は注目に値します。

15サイト未満。20万のうち、です。Web全体がどれだけエージェント対応できているかについての、彼ら自身の要約はこうでした。「手短に言えば、まったくできていない」

検索エンジン最適化と比べてみてください。あちらでは、あなたの競合全員があなたと同じ40項目をやっています。ここでは、基本すら誰にも取られていません。そしてその大半は、午後の数時間で終わります。

markdownネゴシエーションが、聞こえよりも重要である理由があります。クローラーが現代的なページを取得するとき、あなたの主張の1文にたどり着く前に、ナビゲーション、Cookieバナー、アナリティクスのタグ、そしてフレームワークのハイドレーション用ペイロードの分まで支払わされます。要求してきたクライアントにきれいなmarkdownを返せば、トークン量は劇的に減ります。読むのが安く済むということは、最後まで読まれる可能性が高いということであり、正確に引用される可能性が高いということです。

---

エージェント対応チェックリスト

作業1時間あたりの見返りが大きい順に並べています。

ステップ6は特に強調しておきます。直感とは逆だからです。2026年7月、Cloudflareはクロール単位の課金から離れ、その理由をこう説明しました。良性ボットによるクロールトラフィックの半分以上は、変更のないページの再取得に費やされている、と。彼らの言葉を借りれば、あるページは「1回クロールされて数千の回答で引用されるかもしれないし、何度も繰り返しクロールされて一度も使われないかもしれない」。クロールを数えることが事業そのものである企業が、クロール数は価値を測っていないと言うのなら、信じるべきです。

ステップ1のファイル単位の具体的なやり方は、llms.txt vs robots.txt vs ai.txtで別途まとめています。ステップ4のプロトコル層についてはエージェントWebのプロトコル戦争で扱っています。

---

落とし穴: 読まれやすいことと、対価が支払われることは違う

ここで、それ以外は理にかなっている計画の多くが道を誤ります。

筋書きはこうです。クローラーをブロックし、希少性を作り、アクセスに課金し、対価を得る。ブロックの部分はうまくいきました。課金の部分は、いまのところうまくいっていません。

Pay per crawlは2025年7月に開始し、1年以上たったいまもクローズドベータのままです。金額も、取引件数も、支払っているクローラーの数も、一度も公表されていません。名前が出ている参加者は小規模な企業ばかりです。最大手のAIラボは1社も支払っていません。

もっとも示唆に富むデータポイントは、2026年初頭にpay per crawlを有効にしたStack Overflowから出ました。Stack OverflowのJosh Zhangは、起きたことをこう語っています。「Pay Per Crawlをオンにして、これまで403のブロックを返していたボットのトラフィックの一部に、たしか402を返し始めたところ、そのボットたちはうちにトラフィックを送るのをやめてしまいました」。彼らは支払わなかった。立ち去ったのです。

HTTP 402 のレスポンスが1日あたり10億件以上返っている、という統計が広く引用されています。よく読んでください。402とは、誰も受け入れなかった見積書です。それが測っているのは拒否であって、売上ではありません。

そして2026年7月、課金の単位はクロールから利用へと変わりました。つまり、あなたのコンテンツが生成された回答に登場したときに支払う、という形です。こちらのほうが良いアイデアです。同時に、最初のアイデアでは値段が付かなかったという告白でもあります。運営企業自身がこれを実験と呼んでおり、そのCEOは、インターネット規模でこれを成立させるのに必要な決済レールは毎秒100万件をはるかに超えるトランザクションを処理しなければならず、それを作った者はまだいないと公の場で述べています。

一方で、この領域で実際にお金が動いた取引はすべて、1社のAI企業と1社の大手権利者のあいだの直接の相対ライセンスであり、仲介インフラを完全に迂回しています。

そこで、何かを作ろうとしている人への正直な要約はこうなります。エージェントにとって読みやすくすることは、今日すでに見返りがあります。エージェントから対価を得ることは、市場としてまだ存在しません。 前者をやってください。後者を予算に入れてはいけません。

とはいえ、交渉力が生まれたことは本物であり、そこは評価に値します。拒否をワンクリックにしたことで、パブリッシャーはそれまで持っていなかった交渉力を手に入れ、その結果として何十件ものライセンス契約が続きました。インフラそのものが市場になったわけではありません。市場を交渉できるようにした理由になったのです。

---

ネットで読み、学ぶ人にとっての意味

ここで少しインフラから離れます。Webで学ぶすべての人に関わる帰結があるからです。

2つのことが同時に起きています。オープンなWebは、ゲートを1つずつ通るごとに到達しづらくなっています。そしてそのインターフェースは、自分で吟味するリンクの一覧から、おおむね信じるしかない合成テキストの段落へと移りつつあります。

どちらの流れも、価値を同じ方向へ動かします。ほぼ無料になった「情報を見つけること」から離れ、「それを見極め、手元に残し、どこから来たのかを示せること」へ。生成された回答はいくらでも量産できます。ある特定の人が何を読み、何を残す価値があると考え、それが正確にどの一節から来たのかという記録は、量産できません。

そこが持続する層であり、私たちがGlaspをこの形で作っている理由です。Glaspのウェブハイライターで保存されるのは、ページの要約ではありません。あなたが選んだ一文が、出典と日付付きで残ります。YouTube動画の要約を使えば、タイムスタンプが文字起こしに紐づいたままなので、主張は検証可能なままです。Kindleのハイライトも同じ場所に集まります。そしてハイライトはデフォルトで公開されるため、ある読者が「残す価値がある」と印を付けたものが、ほかのみんなにとってのシグナルになります。これはまさに、モデルが単独では生み出せない種類の判断です。

これには実務的な側面もあります。あなたのノートが出典優先で作られていれば、この転換を生き延びます。判断そのものを明け渡すことなく、コンテキストとしてAIアシスタントに渡せるのです。それが、モデルを使うことと、自分の思考をモデルに外注することの違いです。この緊張関係についてはAI思考の罠で、そしてなぜキュレーションが希少なスキルになりつつあるのかについてはAI時代の人間キュレーターで、より詳しく書いています。

Webは機械のために作り直されつつあります。守る価値があるのは、人間が何を大事だと判断したのかを記録している部分です。

---

よくある質問

2026年9月15日に実際に何が変わるのですか?

従来の「AIボットをブロックする」という単一のトグルが、検索、エージェント、学習という3つの独立したコントロールに置き換わります。Cloudflareに新たにオンボーディングするドメインでは、広告を表示するページについて学習とエージェントのアクセスがデフォルトでブロックされ、検索は許可されたままです。既存の設定が勝手に書き換えられることはありません。これは一見安心な話に聞こえますが、多くの人が思うのとは逆の意味を持ちます。新しいコントロールを一度も設定しなければ、設定しないことによって選択したことになるからです。また、複数の目的を同時に担うクローラーはその全部で判定されるため、学習をブロックするとGooglebotもブロックされる点に注意してください。

自分のサイトでAIクローラーをブロックすべきですか?

そこから何を得ているかによります。そして3分割によって、ようやくその問いにきちんと答えられるようになりました。AIの回答に登場することが読者や顧客をもたらしているなら、AI入力のカテゴリは許可してください。人を送り返してくれるのはそれだからです。学習は別の問いで、多くの人にとって答えも変わります。引用もトラフィックも生まないからです。すべてブロックするのも現実的な選択肢ですが、その場合は発見される機会を手放していると理解してください。2026年の大半のサイトにとって、それは学習に使われるリスクよりも大きなコストです。

クローラーをブロックすれば、AI企業は本当に支払いますか?

いまのところ、していません。決済スキームは2025年半ばから限定ベータのままで売上は公表されておらず、大手ラボは参加していません。ブロックが生み出したのは交渉力であり、それが大手パブリッシャー向けの直接ライセンス契約をいくつも生みました。あなたが大手パブリッシャーでないなら、ブロックは収益プランではなく、コンテンツに対するコントロールとして扱ってください。

Web Bot Authは実装すべき本物の標準ですか?

本物ですし、複数の大手プラットフォームが実装しています。ただし、まだ標準ではありません。2026年8月時点でIETFの個人Internet-Draftとして存在するのみで、ワーキンググループの採択もRFC化もされていません。クローラーやエージェントを運用しているなら、既知の主体として扱われる手段になるので採用は理にかなっています。Webサイトを運営している側なら、自分で実装するものではなく、あなたにアクセスしてくるボットが対応していれば恩恵を受ける、という位置づけです。

今週やるべき、もっとも見返りの大きい1つは何ですか?

3つのクローラーコントロールを、成り行きではなく意識的に設定すること。そのうえで主要ページを解析しやすくすること、つまり実体のあるHTML見出し、JavaScriptなしでも存在するコンテンツ、日付と著者情報の可視化です。チェックリストの他の項目も大事ですが、この2つは午後の数時間で終わり、上位20万ドメインの大半より先を行けます。

これがうまくいっているかどうかは、どう判断すればいいですか?

クローラーのヒット数を数えるのをやめて、2つのことを数え始めてください。主要なアシスタントに自分のトピックについて尋ねたとき、自分のコンテンツが回答に現れるかどうか。そして、それらのアシスタント経由で誰かが実際に訪れるかどうかです。クロール量は、あなたの価値とはまったく無関係な理由で上下します。だからこそ、クロール分析を売っているベンダーですら、それを成功指標として使うのをやめたのです。

---

結びに

興味深い変化は、AI企業がWebをクロールしていることではありません。1994年以来ずっと同じ答えを返してきた問いに対して、Webが静かに答えを変えたことです。

30年のあいだ、デフォルトは「はい、どうぞ持っていってください。嫌なら言ってください」でした。2026年時点で、デフォルトはますます「いいえ、まず名乗ってください」に近づいています。それがおよそ1年で起きたのです。しかも決めたのは立法でも標準化団体でもなく、数百万のサイト運営者が読まずにクリックしていった設定画面でした。

それが救済なのか囲い込みなのかは、どこに立っているかで変わります。いずれにせよ、実務上の対応は同じです。何を許すのかを、受け継ぐのではなく自分で決めること。来てほしいエージェントにとって読みやすい存在になること。そして、自分が何を学び、それがどこから来たのかという記録を、自分の手元に持ち続けること。最後のひとつだけは、どのインフラ企業もあなたの代わりにやってくれません。そして、ゲートがどちらに振れようとも価値を保ち続けるのは、その部分です。

もう一度見つけたい一文から始めてください。Glaspはまさにそのために作られていて、無料で試せます。