The Bitter Lesson: Richard Suttonが説くAIの教訓を解説

AIブームの背後にある一文

2019年3月13日、Richard Suttonは自身のウェブサイトに短いエッセイを投稿しました。Suttonは誇大宣伝をする人物ではありません。彼は強化学習の創始者の一人であり、この分野の標準的な教科書の共著者であり、のちにチューリング賞を受賞しました。エッセイはわずか1ページ強です。しかしそれは、その10年間に出版されたどのビジネス書よりも、多くの数十億ドル規模の意思決定を形づくってきたと言っても過言ではありません。

その冒頭の一文こそが、議論のすべてです。「70年にわたるAI研究から読み取れる最大の教訓は、計算を活用する汎用的な手法こそが、最終的には最も効果的であり、しかも大差で勝る、ということだ」

これは見た目ほど自明ではないので、二度読んでください。Suttonは計算量が「役立つ」と言っているのではありません。長期的には、それこそが確実に勝つ唯一のものであり、私たちが愛情を込めてシステムに組み込む人間の知識はむしろ邪魔になりがちだ、と言っているのです。生の計算量に応じてスケールする手法は、賢い人々がすでに解き明かしたことを符号化した手法に勝ちます。それもわずかにではありません。大差で勝るのです。

その主張は、ほとんど反知性的にすら聞こえます。問題の特殊な構造を理解している専門家、つまり領域の専門家こそが、たいてい敗者になるというのですから。しかもSuttonは、それを理論から論じたわけではありません。AI研究者たちが60年にわたって同じ過ちを繰り返し、それが失敗するのを見ては、また繰り返してきた、その歴史から論じたのです。

60年間、四度繰り返された同じ過ち

このエッセイの力は、それが意見ではなくパターンである点にあります。Suttonは、同じ筋書きが繰り返された4つの分野を追っていきます。

チェス。 何十年もの間、コンピュータチェスの研究者たちは人間のチェス理解を符号化しようとしました。序盤の定跡、局面判断のヒューリスティクス、グランドマスターの知恵などです。そして1997年、IBMのDeep Blueが、毎秒数億もの局面を評価する巨大で深い探索を用いて、世界チャンピオンのGarry Kasparovを破りました。それはグランドマスターのようにチェスを「理解」していたわけではありません。探索していたのです。知識ベースのアプローチは、専用ハードウェア上で動く生の先読みに敗れました。

囲碁。 囲碁は違うはずでした。盤面は力任せの探索には広すぎるので、まさにこのゲームこそ人間の直観が不可欠であり続けるはずだ、と。ところがDeep Blueから約20年後、DeepMindのAlphaGoが2016年にLee Sedolを破り、その後継であるAlphaZeroは、人間の対局データを一切使わず、セルフプレイだけで囲碁、チェス、将棋を超人的なレベルまで独学しました。同じ話、同じ結末です。探索と学習が、符号化された人間の知識に勝ったのです。

音声認識。 1970年代、DARPAは音声認識のコンペティションを開催しました。一方の陣営は、単語、音素、人間の発声器官に関する人間の知識を用いました。もう一方は、より多くの計算を行い、言語についてはあまり知らない統計的手法と隠れマルコフモデルを用いました。統計が勝ちました。数十年後、ディープラーニングが同じ教訓をさらに推し進め、現代の音声システムには手作業で符号化された言語学がほとんど含まれていません。

コンピュータビジョン。 初期のビジョン研究は、エッジ、コーナー、そしてSIFTのような巧妙な手設計の特徴を探し求めました。そして2012年、AlexNetとして知られる深層ニューラルネットワークが、人間が設計した特徴ではなく、畳み込み、GPU、データを用いて、ImageNetベンチマークの誤り率をおよそ26%から約16%へと一気に引き下げました。一世代の研究者が磨き上げてきた手作りのパイプラインは、数年のうちに消え去りました。

4つの分野、4組の専門家、1つの結末。そのたびに、問題を最もよく理解していた人々が、負けるアプローチに賭けていたのです。

なぜ「苦い」と呼ばれたのか

ここが、人々が読み飛ばしがちな部分です。この教訓は、単に「計算量が勝つ」というだけではありません。その勝利が嫌な感じをもたらし、その嫌な感じが賢い人々にそれへの抵抗を続けさせる、という点にあります。

Deep Blueが探索で勝ったとき、Suttonが指摘するように、人間の知識に基づくチェス研究者たちの反応は好奇心ではありませんでした。むしろ負け惜しみに近いものでした。彼らはチェスの熟達には深い局面理解が必要だという考えのうえにキャリアを築いてきたのに、主に探索を行う機械がその考えに恥をかかせたのです。彼の言葉を借りれば、彼らは「潔い敗者ではなかった」のです。

このパターンには感情的な論理があります。自分自身の知識をシステムに組み込むのは満足感があります。それは今日システムをより良く動かし、その改善が自分の洞察から生まれたのだと感じさせてくれます。その短期的な見返りは本物であり、だからこそ罠なのです。あなたは、後で頭打ちになるまさにその手を打つことで、今、報われてしまうのです。

Suttonがまとめたこのサイクルは、頭に留めておく価値があります。

• 研究者は人間の知識を自分たちのシステムに組み込む。
• それは役立ち、短期的には気分が良い。
• 時間が経つと頭打ちになり、さらなる進歩を積極的に妨げることすらある。
• ブレークスルーは結局、正反対の方向からやってくる。探索と学習を通じて計算量をスケールさせることだ。

この教訓が苦いのは、無視したくなる誘惑が決してなくならないからです。どの新しい分野も、今度こそ人間の洞察が不可欠であり、この問題は特別なのだと確信して現れます。しかし今のところ、その確信は連敗の記録を刻んでいます。

探索と学習: スケールする唯一の2つ

人間の知識が頭打ちになるものだとすれば、頭打ちにならないものは何でしょうか。Suttonはちょうど2つを挙げます。探索と学習です。

この2つには、稀有な性質が共通しています。より多くの計算を投じると良くなり、しかも良くなり続けるのです。探索は、ハードウェアが進歩するにつれて毎秒より多くの可能性を探索します。学習は、モデルと計算量が拡大するにつれて、より多くのデータからより多くの構造を抽出します。どちらも、人間があらかじめ答えを解き明かしていることに依存しません。だからこそ、どちらも同じ天井にぶつからないのです。

ここでSuttonの議論は哲学的になり、そして彼の最良の一節が現れます。手作業で知識を符号化するのをやめるべき理由は、「心の実際の中身は、途方もなく、救いようがないほど複雑だから」だと彼は書きます。私たちが空間、物体、他者、対称性について考える仕方は、私たちが書き下せるどんなきれいなルールよりもはるかに雑然としています。だから私たちが自分の理解をシステムに圧縮しようとするとき、それは本物の知性の、劣化した、単純化されすぎた漫画を出荷しているにすぎないのです。

彼の処方箋はそこから直接導かれます。思考の中身を組み込もうとするのではなく、その複雑さを自ら見つけ出せるメタ手法を組み込むのです。彼の言葉を借りれば、私たちが求めるのは「私たちが発見してきたものを内に持つのではなく、私たちのように発見できる」AIエージェントです。システムに探索し学習する能力を与え、そして脇に退いて、あなたが手作業では決してやりきれなかった仕事を、規模に任せるのです。

知識を大切にする人にとって、この捉え直しはAIより大きな意味を持ちます。それは、最もレバレッジの効く一手は、より多くの完成した答えを頭に詰め込むことではないと示唆しています。発見し続けられるシステムを築くことなのです。この考えは、成長し続けるように仕組んだとき知識が利子のように積み重なる理由に直接つながっています。

現代の証拠: スケーリング則とセルフプレイ

2019年のエッセイが予言のように読める理由は、その直後の数年が、一つの長い裏付けとなったからです。

2020年、Jared Kaplanが率いるチームが「Scaling Laws for Neural Language Models」を発表し、モデルサイズ、データ、計算量を増やすにつれて、モデルの性能が滑らかなべき乗則に従って向上することを示しました。より大きく、より多くすることが、桁を超えて一貫して、より良い性能を意味したのです。この論文は、大規模言語モデルを拡大する競争全体の知的な許可証となりました。2022年、DeepMindのChinchillaの研究がこのレシピを洗練させ、多くのモデルがそのサイズに対してデータで学習不足だったことを示し、その比率を再調整しました。

Deep BlueからGPTまでを貫く一本の筋は、新しい装いをまとった同じ教訓です。AlphaZeroは、人間の対局記録を一切必要とせず、セルフプレイだけで世界トップクラスの打ち回しを学びました。これはフルボリュームの探索と学習です。言語モデルは、文法や推論の手書きのルールからではなく、膨大な計算予算のもとで大量のテキストにわたって次のトークンを予測することから、驚異的な能力を学びました。OpenAIからDeepMind、Anthropicまで、巧妙さよりもスケーリングに賭けたすべての研究所は、彼を引用したかどうかにかかわらず、Suttonの戦略書を実行していたのです。

そのすべての根底にある複利の原動力は、利用可能な計算量の指数関数的な成長です。Suttonの議論全体は、計算量が安くなり続けるという前提に支えられており、したがってより多くの計算量を吸収できる手法は最終的に勝ちます。これは、Paul Grahamがスタートアップについて述べる超線形リターンの近い親戚です。積み重なるものを選べば、あとは時間が重い仕事をこなしてくれます。

苦い教訓が反撃する場所

優れた解説は、この考えがどこで争われているかを述べなければなりません。実際に争われているからです。「The Bitter Lesson」を福音として扱うことは、それ自体が一種の過ちです。

最も引用される反論はすぐに現れました。2019年3月、ロボット工学者のRodney Brooksが「A Better Lesson」を発表しました。彼の論点はこうです。人間の知識の陣営は実は死んでおらず、ただ移動しただけだ、と。コンピュータビジョンで「勝った」畳み込みニューラルネットワークには、人間の設計者によって並進不変性が組み込まれています。モデルのアーキテクチャ、トークナイザー、学習の設定は、人間の事前知識であふれています。私たちは人間の巧妙さを取り除いたのではない、とBrooksは論じました。それを学習機械の構造の中に移し替え、そして気づかなくなっただけなのだ、と。さらに他の人々は、ムーアの法則が鈍化しているので、「ただ計算量を足せばいい」というのは永遠にタダというわけではない、と付け加えました。

そして、何よりも奇妙などんでん返しが起こりました。Sutton自身です。2025年、David Silverとの共著エッセイ「Welcome to the Era of Experience」の中で、そして同年9月にDwarkesh Patelのポッドキャストで広く議論されたインタビューの中で、Suttonは今日の大規模言語モデルが実は苦い教訓を満たしていないと論じました。LLMは固定された人間のテキストの山を模倣することで学習しており、彼はこれを経験から学ぶのではなく模倣による学習だと呼びました。彼のより新しい見解では、本物の知性は、次の人間の言葉を予測することからではなく、世界との自らの相互作用から絶えず学ぶエージェントから生まれるのです。苦い教訓の父はLLMの時代を見て、事実上、これにはまだ人間の知識が入りすぎている、と言ったのです。

ですから、誠実な読み方は多層的です。スケーラブルな探索と学習が手作業で符号化された知識に勝る、という核心的な主張には、並外れた実績があります。しかし「どの手法が最もよくスケールするか」はいまだに現在進行形の争いであり、そのエッセイを書いた人物は、現在のチャンピオンが終着点ではなく途中の宿場にすぎないと考えています。この2つの考えを同時に抱くことこそ、それを本当に理解している証であり、複数の分野にわたる優れたレンジが生み出しがちな、トレードオフの中で考える思考なのです。

ノート術における苦い教訓

さて、まったくAIとは関係のない部分です。苦い教訓には個人の知識版があり、いったんそれに気づくと、もう気づかなかったことにはできません。

ほとんどの人が賢くなろうとする様子を見てみましょう。彼らは手の込んだシステムを築きます。入れ子になったフォルダの階層。緻密なタグの分類体系。色分け、テンプレート、あらゆる考えがどこに収まるべきかを定めた完璧なオントロジー。これは、人間の知識によるアプローチを自分自身の脳に適用したものです。それは生産的に感じられます。整理することは、まさにSuttonが警告する仕方で満足感があり、最初は少し役立ちます。しかしやがて頭打ちになります。システムは、返してくれる以上に維持する労力を要するようになり、ほとんどの人はそれをひっそりと放棄するからです。

スケーラブルな代替案は、探索と学習を映し出しています。ほとんど事前の構造なしに大量に記録し、整理は後で検索に任せるのです。ハイライトがどこに属するかをあらかじめ決める代わりに、すべてを保存し、必要なときに正しいものを全文検索とAIに浮かび上がらせてもらいます。巧妙な手作業の整理ではなく、量と優れた検索に賭けるのです。それが「計算を活用する汎用的な手法」の個人版のこだまです。

だからこそ、ハイライトの習慣は整理の習慣に勝るのです。読みながら大事なものに印をつけるためにGlaspのウェブハイライターを使ったり、講演や講義からYouTube動画の要約やトランスクリプトのハイライトを保存したりするとき、あなたはコーパスを築いています。量こそが要点なのです。そしてGlaspのAIチャットが探索と学習の役割を果たし、それぞれの考えがどこにあるかを手作業で思い出す代わりに、保存したすべてにわたって質問できるようにします。あなたはメタ手法、つまり記録を供給し、あとは規模に任せるのです。

それはまた、多くの読者がよく知る罪悪感を捉え直します。保存したのに読んでいない膨大なバックログは、失敗ではありません。後のための生の計算量なのです。私たちはそのことを今保存して結局読まなくても賢くなれる理由の中で、余すところなく論じました。苦い教訓も同意します。大きくて雑然としたコーパスと優れた検索は、小さくて完璧に厳選されたものに勝るのです。

自分自身の学びにどう応用するか

このエッセイは機械についてのものですが、人間のための実践的なアドバイスは驚くほど具体的です。

システムを過剰に作り込むのをやめる。 タグ付けの仕組みを完璧にするために費やす時間は、チェスのヒューリスティクスを手作業で符号化することのノート術版です。満足感があり、そして頭打ちです。実際に使い続けられる程度に、構造を軽く保ちましょう。

記録のコストをほぼゼロまで下げる。 スケーラブルな手法が勝つ理由の一部は、それらが安上がりに供給できることにあります。ハイライト、引用、要約を保存することをワンクリックの反射にして、摩擦があなたにそれを思いとどまらせないようにしましょう。スマートノートのワークフローは、記録が楽で、つながりが後で起こるときに最もうまく機能します。

整理ではなく、検索に投資する。 あなたのレバレッジは、保存したものをどれだけきれいに収めたかではなく、どれだけうまく見つけ出し、組み替えられるかにあります。検索、自分のノートに対するAIチャット、そして優れたリンクは、どんなフォルダツリーにも勝ります。

完成ではなく、積み重ねに賭ける。 あなたは分野の学びを「終える」ことは決してありませんし、苦い教訓は、そもそも最終的な答えを組み込もうとすべきではないと言っています。発見し続ける習慣を築きましょう。毎日少しずつ育つコーパスは、あなたには予測できない閾値を、ひっそりと越えていきます。

手法についてはジェネラリストであり続ける。 この教訓の最も深い一手は、知的な謙虚さです。あなたの現在の最良の洞察は規模に追い越される、と想定し、それを見越して設計するのです。インプットを広く保ちましょう。最も長く続く優位性は、学び続ける人であることであり、それは時間をかけて蓄積するコンテキストがあなたの本当の強みになるという話に戻ってきます。

メタ的な要点はシンプルです。メタ手法になりましょう。完成した、手作業で符号化されたエキスパートシステムになろうとしてはいけません。探索し続け、学習し続けるものになり、量と優れた検索をあなたの味方として積み重ねさせるのです。

よくある質問

苦い教訓を簡単に言うと何ですか？

それは、Richard Suttonの2019年のエッセイに由来する観察で、AIにおいて時間とともに勝つアプローチは、人間の専門知識をシステムに手作業で符号化したものではなく、探索と学習を通じてより多くの計算を用いるものだ、というものです。巧妙さは短期的には役立ち、その後頭打ちになります。規模は向上し続けます。それが「苦い」のは、専門家が丹念に築いた知識がたいてい負けることを意味するからです。

Richard Suttonとは誰で、なぜ重要なのですか？

Richard Suttonは、強化学習の創始者の一人として広く認められているコンピュータ科学者であり、Andrew Bartoとの共著でこの分野の標準的な教科書を著し、チューリング賞を受賞しています。彼がAIの方向性について1ページを書けば、分野全体がそれを読みます。なぜなら、彼は現代のAIブームが依拠する手法を築くのに貢献したからです。

苦い教訓は本当に正しいのですか？

歴史的なパターンは強力です。チェス、囲碁、音声認識、コンピュータビジョンはすべてそれに従い、言語モデルのスケーリング則がそれを拡張しました。しかし議論の余地はあります。Rodney Brooksは、人間の知識は消えたのではなくモデルのアーキテクチャに移動しただけだと論じ、2025年にはSutton自身が、今日の大規模言語モデルは実体験から学ぶのではなく人間のテキストを模倣しているので、この教訓に完全には従っていないと論じました。

苦い教訓は、人間の知識が無用だという意味ですか？

いいえ。それは、最終的な答えをシステムに固定符号化する方法としての人間の知識が負けがちだ、という意味です。人間は依然として問題を選び、メタ手法を設計し、学習の設定を築き、何をスケールさせるかを決めます。この教訓は、労力をどこに注ぐかについてのものです。今日の理解を機械に凍結するのではなく、スケーラブルな手法と優れた構造に注ぐべきなのです。

苦い教訓はノート術や学びにどう当てはまりますか？

それは、手の込んだ手作業の整理システムが、手作業で符号化された専門知識のように振る舞うことを示唆しています。最初は満足感がありますが、その後は頭打ちになるメンテナンスの負担になります。スケーラブルな代替案は、最小限の構造で大量に記録し、検索のために検索とAIに頼ることです。ウェブハイライターのようなツールでコーパスを築き、整理ではなく検索に仕事をさせましょう。

結論: 積み重なるものに賭けよ

「The Bitter Lesson」は、AIの10年間をひっそりと説明する1ページであり、それは私たちの誰もがどう賢くなろうとするかについての警告として響きます。魅惑的な一手は、いつだって、すでに知っていることを符号化してそれを進歩と呼ぶことです。長続きする一手は、探索し続け学習し続ける何かを築き、それに規模を供給することです。

あなたはデータセンターを計算量で上回ることはできませんが、その戦略は真似できます。きれいに感じられる以上に記録しましょう。構造を軽く保ちましょう。エネルギーを検索に注ぎ、育っていくハイライト、ノート、要約の集まりを何年もかけて積み重ねさせましょう。それが計算を活用することの個人版であり、3月には使わなくなる完璧に整理されたシステムに勝るのです。

GlaspのウェブハイライターとYouTube Summaryでコーパスを築き始め、そしてGlaspのAIチャットに、保存したすべてにわたって探索し学習させましょう。メタ手法になりましょう。あとは規模に任せるのです。