『超予測力』の実践法：判断力を鍛えてより正確に予測する

予測を測定可能なスキルにした本

2011年、米国情報コミュニティの研究部門である情報高等研究計画局（IARPA）は、風変わりなコンテストを開催しました。世界の出来事を実際に予測できる者がいるのかを知りたかったのです。そこで大学のチームを競わせることにしました。各チームはボランティアを募り、何百もの難しい地政学的な問いに数値の確率で答えてもらいました。この国はデフォルトするか。この二国は戦争するか。この指導者は半年後もまだ権力を握っているか。

フィリップ・テトロックとバーバラ・メラーズは、そうしたチームの一つ、グッド・ジャッジメント・プロジェクトを運営していました。4年間にわたり、数千人のオンラインボランティアが約500の問いにわたって100万件を超える予測を行いました。その結果はプロたちに恥をかかせるものでした。グッド・ジャッジメントは、精度において他の大学チームを35〜72パーセントの差で上回り、その最良の予測者たちは、ボランティアが決して見ることのなかった機密情報にアクセスできた情報分析官よりも約30パーセント正確でした。

テトロックがジャーナリストのダン・ガードナーと共に書いた本、『超予測力：不確実な時代の先を読む10カ条』（原題 Superforecasting: The Art and Science of Prediction、2015年） は、そうした人々と、彼らを優れた予測者にしたものの物語です。そのうちの一人、ダグ・ローチという退職したコンピュータープログラマーは、最初の1年だけでおよそ1000件の予測を行い、約2800人の競争者のなかで5位で終えました。彼はスパイでもクオンツでもありませんでした。うまくいく仕組みを見つけた一介の愛好家だったのです。

たいていの人は、市場や政治の予測がうまくなるために*『超予測力』*を読みます。本ガイドは、読者にとってもっと役立つものとして本書を扱います。すなわち、判断力のためのトレーニングマニュアルとして、です。テトロックが取り出してみせるスキル、不確実な未来について明晰に考えるこの力は、何を信じるか、どの情報源を信頼するか、学んだことをどう扱うかを決めるたびに、あなたが使っているのと同じスキルなのです。

なぜ専門家の予測はたいてい外れるのか

テトロックはこの本を書く資格を、苦労して勝ち取りました。彼の以前の著作、『専門家の政治的判断（Expert Political Judgment）』（2005年） は、約20年にわたって何百人ものプロの評論家や分析官が行った数万件の予測を追跡したものです。有名な結論はこうでした。平均的な専門家の精度は、およそ「ダーツを投げるチンパンジー」と同程度だったのです。さらに悪いことに、有名な専門家ほど較正（キャリブレーション）が悪い傾向がありました。自信たっぷりで大雑把な物語を語ればテレビに出られるのに対し、慎重に留保をつけてもそうはいかないからです。

しかし、平均は一つの分岐を覆い隠していました。アイザイア・バーリンの比喩を借りて、テトロックは予測者をハリネズミとキツネに分類しました。ハリネズミは一つの大きなことを知っていて、あらゆる問いを単一の壮大な理論に押し込みます。キツネは多くの小さなことを知っていて、大きな理論を信用せず、多数の情報源から証拠をつなぎ合わせます。キツネは一貫してより優れた予測をしました。ハリネズミはより大胆な予測をして注目を集めましたが、彼らの一つの大きな考えは、彼らを自信満々の誤りへと繰り返し導いたのです。

ここでの教訓は、専門知識が役に立たないということではありません。知識が豊富であることと、較正がよく効いていることは、別のスキルだということです。あるトピックについて多くを知っていれば、何が起こり得るかはわかります。しかし、それぞれの結果がどれくらい起こりやすいかまでは自動的にはわかりません。そして、予測が実際に問題にしているのはその起こりやすさなのです。この隔たりこそ、賢く物知りな人々があれほど頻繁に自信満々に間違える理由であり、ダニエル・カーネマンが『ファスト＆スロー』の実践法でキャリアをかけて記録し続けたパターンなのです。

超予測者を本当に作るものは何か

真っ先に思い浮かぶ答えは知能でしょう。超予測者たちは、確かに知能と知識のテストで平均を上回るスコアを取り、おおむね上位20パーセントに入っていましたが、飛び抜けた存在ではありませんでした。非常に賢い人でも予測が下手な人はたくさんいましたし、単に頭が良い程度の人でも卓越した予測をした人が大勢いました。IQは天井ではなく、床を定めていたのです。

最良の予測者を分けたのは、テトロックが「永遠のベータ版（perpetual beta）」と呼ぶ心の習慣でした。これは、決して完成せず常に改良され続ける製品を指すソフトウェアの用語を借りたものです。超予測者はあらゆる信念を下書きとして扱います。彼らは自分が間違っているかもしれない理由を積極的に探し、証拠が少しずつ入ってくるにつれて小刻みに修正し、外した予測については正直な事後検証を行います。テトロックが発見したのは、この更新と自己改善への献身が、知能そのものよりも精度をおよそ3倍強く予測する要因だということでした。

その人々自身は、書類の上では平凡でした。傑出した予測者の一人、ビル・フラックは、ネブラスカ州出身の退職した米農務省の職員で、バードウォッチングが好きでした。ほかにも、痛い外れを経験してからこの分野に入った人たちがいました。ある人々は、2008年の金融危機のような何かの到来を見抜けなかったからこそ、もっとうまくなりたいと思ってプロジェクトに参加したのです。それこそ、キャロル・ドゥエックが『マインドセット』の実践法で述べている成長マインドセットを、一つの訓練可能なスキルに向けたものです。本書全体が示す安心できる含意は、超予測は学習された行動であって、それを持たずに諦めるしかない性格ではない、ということなのです。

問いをフェルミ化し、外側から始める

大きく漠然とした問いに直面すると、たいていの人は自分の勘と見出しに頼ります。超予測者はその逆をします。彼らは問いをより小さな下位の問いに分解します。それぞれの方が推論しやすくなるからです。この手法をテトロックは、物理学者エンリコ・フェルミにちなんで「フェルミ化（Fermi-izing）」と呼びます。フェルミは、難しい数量（たとえばシカゴのピアノ調律師の数）を分解して見積もることで有名でした。問題を分解する狙いは、自分が実際に知っていることと、推測していることを切り分けることにあります。テトロックの言葉を借りれば、「無知を表に出す」ためなのです。

次の一手は直感に反します。内側からではなく、外側から始めるのです。内側の視点とは、目の前にある具体的な物語、その鮮やかな細部のすべてです。外側の視点は、もっと冷めた問いを投げかけます。こうした状況で、こうしたことはどれくらいの頻度で起こるのか、と。そのベースレートがあなたの錨（アンカー）になります。あるスタートアップが5年後も存在しているかを予測したいなら、創業者がどれほど心を打つかから始めてはいけません。まずスタートアップ全般の生存率から始め、その後、この会社が本当に特別な点に応じて上下に調整するのです。

順番を正しくすることが大切です。まず鮮やかな内側の物語を錨にすれば、すべての調整がそれに汚染されてしまいます。まずベースレートを錨にすれば、細部はまともな出発点への補正になり、推測全体の土台にはならなくなります。これは、『RANGE（レンジ）』の実践法が、予測不可能な領域でゼネラリストがなぜ非常に有能なのかを論じる際に述べている、深さより幅を先にするというキツネ的な本能と同じものです。

言葉ではなく確率で考える

日常の言葉は、予測が死んでいく場所です。「景気後退の現実的な可能性がある」は主張のように感じられますが、採点できないので決して間違いにならず、だからそこから学ぶこともできません。曖昧な確率語の研究は、その問題をはっきり示しています。「現実的な可能性」が数値的に何を意味するかと人々に尋ねると、答えは約20パーセントから80パーセント超まで幅があります。誰もが自分なりの数字を思い浮かべているのです。

超予測者はそこに逃げ込むことを拒みます。彼らは直感を具体的な確率へと翻訳し、細かい刻みを使います。丸めた「ありそう」ではなく、63パーセントというように。その精密さは根拠のない自信ではなく、むしろその逆です。テトロックが発見したのは、研究者が超予測者の見積もりをより粗い数字に丸めると、彼らの精度が下がったということでした。つまり、その小さな区別が本物の情報を運んでいたのです。採点のための道具がブライアスコア（Brier score）です。これは較正（あなたが70パーセントと呼ぶことが、実際におよそ70パーセントの頻度で起こるか）と、解像度（50パーセントに隠れる代わりに、決然とした立場を取るか）の両方を測ります。低いほど良いスコアです。

数字は言葉にできないことをやってのけます。予測をフィードバックに変えるのです。「70パーセント」と100回言えば、そのうちおよそ70件が本当に起きたかを確認できます。「たぶん」と100回言っても、自分について何も学べません。

ベイズ主義者のように信念を更新する

一度きり行って、その後ずっと守り続ける予測は、ただの意見にすぎません。この手法の核心は更新です。新しい証拠が届くにつれ、その証拠が実際にどれだけを物語っているかに比例して、確率を調整するのです。これは精神においてベイズ的な推論であり、超予測者はそれを絶えず、小刻みに、大げさに構えることなく行います。

この規律は二つの方向に効きます。過小反応（アンダーリアクション）とは、錨に縛られているか、こだわりがあるか、動くのが恥ずかしいために、以前の予測にしがみつくことです。過剰反応（オーバーリアクション）とは、新しい見出しが飛び込むたびに新しい数字へと大きく揺れ、ノイズを信号として扱うことです。スキルは、更新の大きさを証拠の重みに合わせて較正することにあります。些細なニュースなら数ポイント動かし、本物の驚きなら大きく動かすのです。超予測者は、平均的な予測者よりも頻繁に、しかもより正確に考えを変えており、両方の面で明らかに優れていました。

これを難しくしているのは数学ではなく、エゴです。更新するということは、自分の前回の予測が完璧には及ばなかったと公に認めることであり、たいていの人は正確であるよりも一貫していたいと思うものです。その解決策は、考えを変えることを敗北として扱うのをやめることです。アニー・デュークは、『Thinking in Bets（賭けの思考法）』の実践法のなかで、これと同じ動きを、信念を自分のアイデンティティから切り離すこととして表現しています。問うべきは決して「自分は正しかったか」ではなく、「今日わかっていることすべてを踏まえて、自分は今何を信じるか」なのです。

続けられる予測の習慣を作る

これまで述べたことはすべて、記録がなければ崩れ去ります。何を、いつ、なぜ予測したかを書き留めておかなければ、記憶がひそかに物語を書き換え、あなたはいつも基本的には正しかったことになってしまいます。*『超予測力』*から得られる最も実践的なものは、たった一つ、予測ジャーナルです。そして、それに書き込むためのチェックリストが、テトロックの「十戒」です。

テトロックは、半ば冗談めかして11番目の戒めを付け加えます。戒めを戒めとして扱ってはならない、と。これらは混沌とした世界のための指針であって、法則ではないのです。

ここで、あなたの読書ツールが予測ツールになります。分析を読んだり、報告を見たりしていて、それが未来についての主張をするとき、それを捕まえましょう。Glaspのウェブハイライターを使えば、その予測を情報源の上でそのままハイライトし、自分の確率をノートとして付け加えられます。長い動画の議論については、YouTube動画の要約を使えば、重要な主張を抜き出してタイムスタンプを付けられるので、それぞれに対して予測を記録できます。何か月かのあいだに、そうした注釈は検索可能な実績記録になり、GlaspのAIチャットは、保存したすべてにわたって質問を投げかけることで、あなた自身の推論を見直す手助けをしてくれます。主張に出会うたびに確率を記録する習慣は、記録をつけることの読書側のバージョンであり、学んだことを集めるデジタル・コモンプレイス・ブックのアプローチと自然に組み合わさります。

超予測の正直な限界

超予測は魔法ではありません。テトロックはその境界について慎重です。トーナメントの問いには、はっきりした解決期日と明確な答えがあり、たいていは1〜2年以内に決着しました。それはまさに、この手法が力を発揮するゾーンであり、そして人生の最も大きな問いのほとんどが存在しないゾーンでもあります。「今後10年以内に戦争は起こるか」と問うても、それを採点する明快な方法はなく、素早いフィードバックもなく、練習する方法もありません。

最も鋭い批判はナシーム・タレブから来ます。彼は、世界を本当に作り変える出来事は、こうしたトーナメントが体系的に除外してしまう、稀で影響の大きい「ブラック・スワン」だと論じます。彼に言わせれば、何百もの平凡な問いで較正がよく効いていても、本当に重要な一つのテールイベントについてはほとんど何もわからない、というわけです。テトロックのもっともな反論は、短期の予測スキルと長期の謙虚さは共存できるというものです。知り得ない問いが知り得ないままであっても、知り得る問いを正しく当てることには、やる価値があるのです。

もっと微妙な罠もあります。採点は、あなたがうまく見える安全で短期的な問いのほうへ、そして判断が最も重要となる漠然とした重要な問いから離れるほうへ、あなたを引っ張りかねません。この手法は特定の種類の問いのための道具であって、世界観ではありません。うまく使えば、あなたの思考を研ぎ澄まします。まずく使えば、重要でないことについて精密な気分になるための手段になってしまうのです。

よくある質問

超予測は生まれ持ったものですか、それとも学べるものですか？

学べるものです。それが本書の中心的な発見です。超予測者は知能で平均を上回るスコアを取りましたが、天才ではありませんでした。そしてスキルを最も強く予測したのはIQではなく、「永遠のベータ版」、すなわち信念を絶えず更新し改善する習慣でした。テトロックは、それが知能よりも精度をおよそ3倍強く予測することを発見しました。トーナメントの訓練実験では、ベースレートのような手法についての短いチュートリアルでさえ、普通の予測者を測定可能なほど上達させました。

『超予測力』は『Thinking in Bets（賭けの思考法）』とどう違いますか？

両者は補い合う関係です。アニー・デュークの*『Thinking in Bets』は、不確実性のもとでの意思決定の質と、良い判断を幸運な結果から切り離すことに焦点を当てています。テトロックの『超予測力』*は、予測そのものに焦点を当てています。すなわち、未来の出来事にどう正確な確率を割り当て、自分の較正が効いていたかをどう測るか、です。一方はうまく決めることについて、もう一方は明晰に見ることについての本です。合わせて読めば、不確実性のもとでの推論の両面を網羅できます。

ブライアスコアとは簡単に言うと何ですか？

確率的な予測を採点する方法で、低いほど良く、ゼロが完璧です。それは二つのことを同時に評価します。較正（あなたが70パーセントと呼ぶことは、およそ70パーセントの頻度で起こるべき）と、解像度（いつも50パーセント付近で留保するのではなく、決然とした立場を取ること）です。それを計算するには予測と結果の継続的な記録が必要であり、だからこそ予測ジャーナルをつけることが、この実践全体の土台なのです。

より優れた予測者になるには数学が必要ですか？

高度な数学は必要ありません。核となる動きは習慣です。問いを部分に分ける、ベースレートから始める、自分の見方を具体的な数字で表す、そして証拠が届くにつれて小刻みに更新する、というものです。ベイズ的な更新は、方程式である前にひとつの心構えです。本当のボトルネックは計算ではなく、自分の予測を書き留め、それを正直に確認し、考えを変える意欲なのです。

今日から練習を始めるにはどうすればいいですか？

明確な答えと近い締め切りのある問いを、仕事、読書、ニュースからいくつか選びましょう。それぞれについて具体的な確率と、その理由を一文で書き留めます。それぞれが決着したら、照らし合わせて短い事後検証を行います。読みながら予測をハイライトし、余白に確率を添えていけば、普段の読書が練習問題の安定した流れに変わります。

結論

*『超予測力』*の静かなラディカリズムは、その楽観主義にあります。何十年ものあいだ、テトロックの研究から得られる教訓は皮肉なものでした。専門家は予測できないのだから、やる意味などない、と。トーナメントはそれをひっくり返しました。普通の人々の一群が、手法と記録をつける規律で武装して、機密ファイルを持つプロたちよりも明晰に未来を見ることを学んだのです。この手法は教えられるものであり、そのほとんどは、注意深い読者なら誰でも築ける習慣に行き着きます。

小さく始めましょう。問いを分解し、こうしたことが通常どれくらいの頻度で起こるかを錨にし、自分の信念に本物の数字を付け、世界が答えを返してくるにつれてエゴなしにそれを更新する。そして何より重要なのは、それを書き留めることです。読みながら出会う主張を捕まえるにはGlaspのウェブハイライターを使い、それぞれに自分の確率をタグ付けし、見て回る議論に対して予測を記録するにはYouTube動画の要約に頼り、Glaspのコミュニティフィードで、ほかの注意深い読者が同じ不確実性をどう推論しているかを見てみましょう。うまく予測することはスキルです。持つ価値のあるあらゆるスキルと同じように、それは意図的な練習、正直なフィードバック、そして実際に学べる記録から育ちます。それらすべてを束ねるノート術については、『TAKE NOTES！ メモで、あなただけの知識をつくる』の実践法をご覧ください。