Das Buch, das Prognostizieren zu einer messbaren Fähigkeit machte
Im Jahr 2011 veranstaltete die Intelligence Advanced Research Projects Activity, ein Forschungszweig der US-Geheimdienstgemeinschaft, einen ungewöhnlichen Wettbewerb. Sie wollte wissen, ob überhaupt jemand Weltereignisse vorhersagen kann, und lud daher Universitätsteams zum Wettstreit ein. Jedes Team rekrutierte Freiwillige, die Hunderte schwieriger geopolitischer Fragen mit numerischen Wahrscheinlichkeiten beantworten sollten: Wird dieses Land zahlungsunfähig werden? Werden diese beiden Nationen kämpfen? Wird dieser Machthaber in sechs Monaten noch an der Macht sein?
Philip Tetlock und Barbara Mellers leiteten eines dieser Teams, das Good Judgment Project. Über vier Jahre hinweg gaben Tausende von Online-Freiwilligen mehr als eine Million Prognosen zu rund 500 Fragen ab. Die Ergebnisse blamierten die Profis. Good Judgment übertraf die anderen Universitätsteams in der Genauigkeit um 35 bis 72 Prozent, und seine besten Prognostiker waren etwa 30 Prozent genauer als Geheimdienstanalysten, die Zugang zu klassifizierten Informationen hatten, die die Freiwilligen nie zu Gesicht bekamen.
Das Buch, das Tetlock zusammen mit dem Journalisten Dan Gardner schrieb, Superforecasting: The Art and Science of Prediction (2015), ist die Geschichte dieser Menschen und dessen, was sie so gut machte. Einer von ihnen, ein pensionierter Programmierer namens Doug Lorch, gab allein im ersten Jahr rund tausend Prognosen ab und belegte den fünften Platz von etwa 2.800 Teilnehmern. Er war kein Spion und kein Quant. Er war ein Hobbyist, der ein funktionierendes System gefunden hatte.
Die meisten Menschen lesen Superforecasting, um besser darin zu werden, Märkte oder Politik vorherzusagen. Dieser Leitfaden behandelt es als etwas, das für Leser noch nützlicher ist: als Trainingshandbuch für das Urteilsvermögen. Die Fähigkeit, die Tetlock herausarbeitet, nämlich klar über eine ungewisse Zukunft nachzudenken, ist dieselbe Fähigkeit, die Sie jedes Mal einsetzen, wenn Sie entscheiden, was Sie glauben, welchen Quellen Sie vertrauen und was Sie mit dem anfangen, was Sie lernen.
Warum die meisten Expertenprognosen scheitern
Tetlock erwarb sich das Recht, dieses Buch zu schreiben, auf die harte Tour. Seine frühere Arbeit Expert Political Judgment (2005) verfolgte Hunderte professioneller Kommentatoren und Analysten, die über etwa zwanzig Jahre hinweg Zehntausende von Prognosen abgaben. Das berühmte Urteil: Der durchschnittliche Experte war ungefähr so genau wie "ein pfeilwerfender Schimpanse". Schlimmer noch, je bekannter der Experte, desto schlechter neigte seine Kalibrierung zu sein, denn selbstbewusste, weitreichende Geschichten bringen Sie ins Fernsehen, während vorsichtiges Abwägen dies nicht tut.
Doch die Durchschnittswerte verbargen eine Spaltung. In Anlehnung an Isaiah Berlins Metapher teilte Tetlock die Prognostiker in Igel und Füchse ein. Der Igel weiß eine große Sache und zwängt jede Frage durch eine einzige große Theorie. Der Fuchs weiß viele kleine Dinge, misstraut großen Theorien und fügt Belege aus vielen Quellen zusammen. Füchse prognostizierten durchweg besser. Igel machten kühnere Vorhersagen und erhielten mehr Aufmerksamkeit, aber ihre eine große Idee lenkte sie immer wieder in selbstbewusste Irrtümer.
Die Lehre daraus ist nicht, dass Fachwissen nutzlos wäre. Sie besagt, dass Wissen und gute Kalibrierung unterschiedliche Fähigkeiten sind. Viel über ein Thema zu wissen sagt Ihnen, was passieren könnte. Es sagt Ihnen nicht automatisch, wie wahrscheinlich jedes Ergebnis ist, und um die Wahrscheinlichkeit geht es bei einer Prognose eigentlich. Diese Lücke ist der Grund, warum kluge, gut informierte Menschen so oft selbstbewusst falsch liegen, ein Muster, das Daniel Kahneman eine ganze Karriere lang in Thinking, Fast and Slow anwenden dokumentiert hat.
Was einen Superforecaster wirklich ausmacht
Die naheliegende Vermutung lautet Intelligenz. Superforecaster schnitten bei Intelligenz- und Wissenstests tatsächlich überdurchschnittlich ab, etwa in den obersten 20 Prozent, aber sie waren keine Ausreißer. Viele sehr kluge Menschen prognostizieren schlecht, und viele nur mäßig helle Köpfe glänzten. Der IQ setzte eine Untergrenze, keine Obergrenze.
Was die Besten auszeichnete, war eine Geisteshaltung, die Tetlock "ständiges Beta" nennt, angelehnt an den Software-Begriff für ein Produkt, das nie fertig ist und ständig verbessert wird. Superforecaster behandeln jede Überzeugung als Entwurf. Sie suchen aktiv nach Gründen, warum sie sich irren könnten, sie überarbeiten in kleinen Schritten, sobald Belege eintröpfeln, und sie führen ehrliche Nachbesprechungen ihrer Fehlschläge durch. Tetlock stellte fest, dass diese Verpflichtung zur Anpassung und Selbstverbesserung ein etwa dreimal so starker Prädiktor für Genauigkeit war wie die Intelligenz selbst.
Die Menschen selbst waren auf dem Papier unscheinbar. Bill Flack, einer der herausragenden Prognostiker, war ein pensionierter Mitarbeiter des US-Landwirtschaftsministeriums aus Nebraska, der gerne Vögel beobachtete. Andere kamen nach einem schmerzhaften Fehlschlag dazu: Manche traten dem Projekt gerade deshalb bei, weil sie etwas nicht hatten kommen sehen, wie die Finanzkrise von 2008, und sich verbessern wollten. Das ist das Wachstumsdenken, das Carol Dweck in Mindset anwenden beschreibt, ausgerichtet auf eine einzige trainierbare Fähigkeit. Die beruhigende Schlussfolgerung des gesamten Buches ist, dass Superforecasting ein erlerntes Verhalten ist und keine Persönlichkeit, ohne die man einfach dasteht.
Fermisieren Sie die Frage und beginnen Sie von außen
Konfrontiert mit einer großen, vagen Frage greifen die meisten Menschen zu ihrem Bauchgefühl und einer Schlagzeile. Superforecaster tun das Gegenteil. Sie zerlegen die Frage in kleinere Teilfragen, jede leichter zu durchdenken, eine Technik, die Tetlock "Fermisieren" nennt, nach dem Physiker Enrico Fermi, der dafür berühmt war, schwierige Größen (wie die Anzahl der Klavierstimmer in Chicago) durch Zerlegung zu schätzen. Der Sinn, ein Problem auseinanderzunehmen, besteht darin, das, was Sie tatsächlich wissen, von dem zu trennen, was Sie raten, oder wie Tetlock es ausdrückt: die Unwissenheit "ins Offene zu spülen".
Der nächste Schritt ist kontraintuitiv: Beginnen Sie von außen, nicht von innen. Die Innensicht ist die konkrete Geschichte, die vor Ihnen liegt, mit all ihren lebhaften Details. Die Außensicht stellt eine nüchternere Frage: Wie oft geschehen Dinge dieser Art in Situationen dieser Art? Diese Basisrate ist Ihr Anker. Wenn Sie vorhersagen wollen, ob ein Start-up in fünf Jahren noch existieren wird, beginnen Sie nicht damit, wie inspirierend die Gründerin ist. Sie beginnen mit der Überlebensrate von Start-ups im Allgemeinen und passen dann nach oben oder unten an das an, was an diesem einen wirklich besonders ist.
Die richtige Reihenfolge ist entscheidend. Verankern Sie sich zuerst an der lebhaften Innengeschichte, und jede Anpassung ist davon kontaminiert. Verankern Sie sich zuerst an der Basisrate, und die Details werden zu Korrekturen an einem vernünftigen Ausgangspunkt statt zur gesamten Grundlage Ihrer Vermutung. Es ist derselbe fuchsartige Instinkt, Breite vor Tiefe, von dem Range anwenden argumentiert, dass er Generalisten in unvorhersehbaren Bereichen so effektiv macht.
Denken Sie in Wahrscheinlichkeiten, nicht in Worten
Die Alltagssprache ist der Ort, an dem Prognosen sterben. "Es besteht eine echte Chance auf eine Rezession" wirkt wie eine Behauptung, aber sie kann nicht bewertet werden, also kann sie nie falsch sein, also können Sie nie daraus lernen. Studien zu vagen Wahrscheinlichkeitswörtern zeigen das Problem deutlich: Wenn Menschen gefragt werden, was "eine reale Möglichkeit" numerisch bedeutet, reichen die Antworten von etwa 20 Prozent bis über 80 Prozent. Jeder hört seine eigene Zahl.
Superforecaster weigern sich, sich dort zu verstecken. Sie übersetzen Ahnungen in konkrete Wahrscheinlichkeiten und verwenden feine Abstufungen, 63 Prozent statt eines runden "wahrscheinlich". Diese Präzision ist keine falsche Selbstsicherheit, sondern das Gegenteil. Tetlock stellte fest, dass die Genauigkeit sank, als Forscher die Schätzungen von Superforecastern auf gröbere Zahlen rundeten, was bedeutet, dass diese kleinen Unterschiede echte Information enthielten. Das Werkzeug, um Buch zu führen, ist der Brier-Score, der sowohl die Kalibrierung misst (treten Dinge, die Sie mit 70 Prozent angeben, tatsächlich etwa in 70 Prozent der Fälle ein?) als auch die Auflösung (beziehen Sie klare Positionen, statt sich bei 50 Prozent zu verstecken?). Niedriger ist besser.
| Prognosestil | Wie es klingt | Können Sie daraus lernen? |
|---|---|---|
| Vage Worte | "Wahrscheinlich", "eine echte Chance", "unwahrscheinlich" | Nein, es kann nicht bewertet werden |
| Runde Zahlen | "Etwa 70 Prozent" | Ein wenig, aber grob |
| Feinkörnige Wahrscheinlichkeiten | "63 Prozent, und hier ist der Grund" | Ja, die Kalibrierung verbessert sich mit der Zeit |
Zahlen leisten etwas, was Worte nicht können: Sie verwandeln eine Vorhersage in Feedback. Sagen Sie hundertmal "70 Prozent", und Sie können prüfen, ob ungefähr 70 dieser Dinge eingetreten sind. Sagen Sie hundertmal "wahrscheinlich", und Sie haben nichts über sich selbst gelernt.
Passen Sie Ihre Überzeugungen an wie ein Bayesianer
Eine einmal getroffene und für immer verteidigte Prognose ist nur eine Meinung. Das Herzstück der Methode ist die Anpassung: Ihre Wahrscheinlichkeit anzupassen, sobald neue Belege eintreffen, und zwar im Verhältnis dazu, wie viel diese Belege tatsächlich aussagen. Das ist im Geiste bayesianisches Denken, und Superforecaster tun es ständig, in kleinen Schritten, ohne Aufhebens.
Die Disziplin schneidet in zwei Richtungen. Unterreaktion bedeutet, an einer früheren Prognose festzuhalten, weil man verankert, engagiert oder zu verlegen ist, um sich zu bewegen. Überreaktion bedeutet, bei jeder frischen Schlagzeile zu einer neuen Zahl zu springen und Rauschen als Signal zu behandeln. Die Fähigkeit besteht darin, die Größe der Anpassung an das Gewicht der Belege zu kalibrieren: Eine belanglose Nachricht verschiebt Sie um ein paar Punkte, eine echte Überraschung bewegt Sie stark. Superforecaster waren in beidem deutlich besser, sie änderten ihre Meinung häufiger als durchschnittliche Prognostiker, aber auch präziser.
Was das schwer macht, ist nicht die Mathematik, es ist das Ego. Anpassen bedeutet, öffentlich einzuräumen, dass die letzte Prognose weniger als perfekt war, und die meisten Menschen sind lieber konsistent als genau. Die Lösung besteht darin, aufzuhören, eine geänderte Meinung als Niederlage zu betrachten. Annie Duke formuliert denselben Schritt als das Trennen Ihrer Überzeugungen von Ihrer Identität in Thinking in Bets anwenden: Die Frage ist nie "hatte ich recht", sondern "was glaube ich jetzt, angesichts all dessen, was ich heute weiß".
Bauen Sie eine Prognosepraxis auf, die Sie wirklich beibehalten
Alles Obige bricht ohne eine Aufzeichnung zusammen. Wenn Sie nicht aufschreiben, was Sie vorhergesagt haben, wann und warum, schreibt die Erinnerung die Geschichte leise so um, dass Sie im Grunde immer recht hatten. Das mit Abstand Praktischste, was Sie aus Superforecasting mitnehmen können, ist ein Prognosetagebuch, und Tetlocks Zehn Gebote sind die Checkliste, die hineingehört.
| Gebot | Was es in der Praxis bedeutet |
|---|---|
| Priorisieren | Verwenden Sie Aufwand auf Fragen, bei denen sich die Arbeit tatsächlich auszahlt, nicht auf triviale oder aussichtslose |
| Probleme zerlegen | Fermisieren: eine große Frage in beantwortbare Teile aufteilen |
| Außen- und Innensicht ausbalancieren | Beginnen Sie mit Basisraten, dann an die Besonderheiten anpassen |
| Überzeugungen anpassen | In kleinen, belegsgewichteten Schritten überarbeiten |
| Nach widerstreitenden Ursachenkräften suchen | Konkurrierende Erklärungen gleichzeitig im Kopf behalten |
| Das richtige Maß an Zweifel verwenden | Ahnungen in präzise Wahrscheinlichkeiten übersetzen |
| Umsicht und Entschlossenheit ausbalancieren | Nicht zur Gewissheit hetzen oder sich hinter dem "Vielleicht" verstecken |
| Aus Misserfolg und Erfolg lernen | Bei beidem schonungslose Nachbesprechungen durchführen |
| Perspektivenübernahme im Team meistern | Produktiv widersprechen, präzise Fragen stellen |
| Bewusst mit Feedback üben | Prognostizieren wie ein trainierbares Handwerk behandeln |
Tetlock fügt ein elftes, halb scherzhaftes Gebot hinzu: Behandeln Sie die Gebote nicht als Gebote. Sie sind Leitlinien für eine unordentliche Welt, keine Gesetze.
Hier werden Ihre Lesewerkzeuge zu Prognosewerkzeugen. Wenn Sie eine Analyse lesen oder ein Briefing ansehen und darin eine Behauptung über die Zukunft aufgestellt wird, halten Sie sie fest. Mit Glasps Web-Highlighter können Sie genau die Vorhersage markieren und Ihre eigene Wahrscheinlichkeit als Notiz direkt an der Quelle hinzufügen. Bei langen Videoargumenten ermöglichen Ihnen YouTube-Videozusammenfassungen, die zentralen Behauptungen herauszuziehen und mit Zeitstempeln zu versehen, damit Sie zu jeder eine Prognose festhalten können. Über Monate hinweg werden diese Anmerkungen zu einer durchsuchbaren Erfolgsbilanz, und Glasps KI-Chat kann Ihnen helfen, Ihre eigene Argumentation zu überprüfen, indem er Fragen quer über alles stellt, was Sie gespeichert haben. Die Gewohnheit, jedes Mal, wenn Sie auf eine Behauptung stoßen, eine Wahrscheinlichkeit festzuhalten, ist die leseseitige Version des Buchführens, und sie passt natürlich zum Ansatz des digitalen Commonplace-Books, um das zu sammeln, was Sie lernen.
Die ehrlichen Grenzen des Superforecasting
Superforecasting ist keine Zauberei, und Tetlock geht sorgfältig mit seinen Grenzen um. Die Turnierfragen hatten klare Auflösungstermine und eindeutige Antworten, meist innerhalb von ein bis zwei Jahren. Das ist genau die Zone, in der die Methode glänzt, und genau der Bereich, in dem die meisten der wichtigsten Lebensfragen nicht angesiedelt sind. Fragen Sie "Wird es im nächsten Jahrzehnt einen Krieg geben", so gibt es keine saubere Möglichkeit, das zu bewerten, kein schnelles Feedback und keine Möglichkeit zu üben.
Die schärfste Kritik kommt von Nassim Taleb, der argumentiert, dass die Ereignisse, die die Welt wirklich neu formen, die seltenen, folgenschweren "schwarzen Schwäne" sind, die diese Turniere systematisch ausschließen. Bei Hunderten gewöhnlicher Fragen gut kalibriert zu sein, würde er sagen, sagt Ihnen wenig über das eine Extremereignis, auf das es wirklich ankommt. Tetlocks vernünftige Erwiderung lautet, dass kurzfristige Prognosefähigkeit und langfristige Demut nebeneinander bestehen können: Die erkennbaren Fragen richtig zu beantworten ist lohnenswert, auch wenn die unerkennbaren unerkennbar bleiben.
Es gibt auch eine subtilere Falle. Die Bewertung kann Sie zu sicheren, kurzfristigen Fragen ziehen, bei denen Sie gut dastehen, und weg von den vagen, wichtigen, bei denen das Urteilsvermögen am meisten zählt. Die Methode ist ein Werkzeug für eine bestimmte Art von Frage, keine Weltanschauung. Gut eingesetzt, schärft sie Ihr Denken. Schlecht eingesetzt, wird sie zu einer Möglichkeit, sich in Bezug auf Dinge präzise zu fühlen, die nicht zählen.
Häufig gestellte Fragen
Wird man mit Superforecasting geboren oder kann man es lernen?
Man kann es lernen. Das ist die zentrale Erkenntnis des Buches. Superforecaster schnitten bei der Intelligenz überdurchschnittlich ab, waren aber keine Genies, und der stärkste Prädiktor für Fähigkeit war nicht der IQ, sondern das "ständige Beta", die Gewohnheit, seine Überzeugungen ständig anzupassen und zu verbessern. Tetlock fand, dass dies etwa dreimal so aussagekräftig für die Genauigkeit war wie die Intelligenz. In den Trainingsexperimenten des Turniers verbesserte sogar ein kurzes Tutorial zu Techniken wie Basisraten die gewöhnlichen Prognostiker messbar.
Wie unterscheidet sich Superforecasting von Thinking in Bets?
Sie ergänzen sich. Annie Dukes Thinking in Bets konzentriert sich auf die Entscheidungsqualität unter Unsicherheit und darauf, gute Entscheidungen von glücklichen Ergebnissen zu trennen. Tetlocks Superforecasting konzentriert sich auf die Vorhersage selbst: wie man zukünftigen Ereignissen genaue Wahrscheinlichkeiten zuweist und misst, ob man kalibriert war. Das eine handelt vom guten Entscheiden, das andere vom klaren Sehen. Zusammen gelesen decken sie beide Hälften des Denkens unter Unsicherheit ab.
Was ist ein Brier-Score in einfachen Worten?
Es ist eine Möglichkeit, probabilistische Prognosen zu benoten, wobei niedriger besser ist und null perfekt. Er belohnt zwei Dinge zugleich: Kalibrierung (Dinge, die Sie mit 70 Prozent angeben, sollten etwa in 70 Prozent der Fälle eintreten) und Auflösung (klare Positionen beziehen, statt sich immer nahe bei 50 Prozent abzusichern). Sie brauchen ein laufendes Protokoll von Vorhersagen und Ergebnissen, um ihn zu berechnen, weshalb ein Prognosetagebuch die Grundlage der gesamten Praxis ist.
Brauche ich Mathematik, um ein besserer Prognostiker zu werden?
Es ist keine fortgeschrittene Mathematik erforderlich. Die Kernschritte sind Gewohnheiten: eine Frage in Teile zerlegen, von einer Basisrate ausgehen, seine Sichtweise als konkrete Zahl ausdrücken und in kleinen Schritten anpassen, sobald Belege eintreffen. Bayesianisches Anpassen ist eine Geisteshaltung, bevor es eine Gleichung ist. Der eigentliche Engpass ist nicht die Berechnung, sondern die Bereitschaft, Ihre Vorhersagen aufzuschreiben, sie ehrlich zu überprüfen und Ihre Meinung zu ändern.
Wie fange ich heute mit dem Üben an?
Wählen Sie eine Handvoll Fragen mit einer klaren Antwort und einer nahen Frist aus, aus Ihrer Arbeit, Ihrer Lektüre oder den Nachrichten. Schreiben Sie für jede eine konkrete Wahrscheinlichkeit auf und einen Satz zu Ihrer Begründung. Wenn sich jede auflöst, vergleichen Sie und führen Sie eine kurze Nachbesprechung durch. Vorhersagen beim Lesen zu markieren, mit einer am Rand angehängten Wahrscheinlichkeit, verwandelt Ihre normale Lektüre in einen stetigen Strom von Übungsfragen.
Fazit
Der stille Radikalismus von Superforecasting ist sein Optimismus. Jahrzehntelang war die Botschaft aus Tetlocks Arbeit zynisch: Experten können nichts vorhersagen, warum sich also die Mühe machen. Das Turnier kehrte das um. Eine Gruppe gewöhnlicher Menschen, ausgestattet mit einer Methode und der Disziplin, Buch zu führen, lernte, die Zukunft klarer zu sehen als Profis mit geheimen Akten. Die Methode ist lehrbar, und das meiste davon läuft auf Gewohnheiten hinaus, die jeder sorgfältige Leser aufbauen kann.
Fangen Sie klein an. Zerlegen Sie Fragen, verankern Sie sich daran, wie oft Dinge dieser Art normalerweise geschehen, setzen Sie eine echte Zahl auf Ihre Überzeugung und passen Sie sie ohne Ego an, während die Welt Ihnen antwortet. Und dann, entscheidend, schreiben Sie es auf. Nutzen Sie Glasps Web-Highlighter, um die Behauptungen festzuhalten, auf die Sie beim Lesen stoßen, und versehen Sie jede mit Ihrer eigenen Wahrscheinlichkeit, stützen Sie sich auf YouTube-Videozusammenfassungen, um Prognosen zu den Argumenten festzuhalten, die Sie ansehen, und lassen Sie sich von Glasps Community-Feed zeigen, wie andere sorgfältige Leser dieselbe Unsicherheit durchdenken. Gut zu prognostizieren ist eine Fähigkeit. Wie jede Fähigkeit, die es wert ist, wächst sie aus bewusstem Üben, ehrlichem Feedback und einer Aufzeichnung, aus der Sie tatsächlich lernen können. Für das Notizsystem, das alles zusammenhält, siehe wie man klug Notizen macht.