Was ist ein Superforecaster?
Ein Superforecaster ist jemand, dessen Wahrscheinlichkeitsprognosen sich über viele ausgewertete Fragen hinweg als durchweg genauer erwiesen haben als die fast aller anderen, die dieselben Fragen prognostizieren. Der Begriff stammt aus Philip Tetlocks Good Judgment Project, einem der Forschungsteams in einem Prognoseturnier der US-Regierung. Jedes Jahr vergab das Projekt den Titel an die besten 2 Prozent seiner Prognostiker.
Superforecasting ist die Methode, die diese Menschen gemeinsam hatten: eine Frage in Teile zerlegen, von der Basisrate ausgehen, die eigene Überzeugung mit einer präzisen Zahl versehen und diese in kleinen Schritten anpassen. Tetlock und der Journalist Dan Gardner beschreiben sie in Superforecasting: The Art and Science of Prediction (2015), und das meiste davon lässt sich lernen.
Das Turnier selbst war eine ungewöhnliche Idee. 2011 wollte die Intelligence Advanced Research Projects Activity (IARPA), ein Forschungszweig der US-Geheimdienstgemeinschaft, herausfinden, ob überhaupt jemand Weltereignisse gut vorhersagen kann, und lud deshalb Universitätsteams zum Wettstreit ein. Jedes Team rekrutierte Freiwillige, die schwierige geopolitische Fragen mit numerischen Wahrscheinlichkeiten beantworten sollten: Wird dieses Land zahlungsunfähig? Geraten diese beiden Staaten aneinander? Ist dieser Staatschef in sechs Monaten noch an der Macht?
Tetlock und Barbara Mellers leiteten das Team von Good Judgment. Über vier Jahre gaben Tausende Online-Freiwillige mehr als eine Million Prognosen zu rund 500 Fragen ab, und die Ergebnisse blamierten die Profis. Good Judgment übertraf die offizielle Kontrollgruppe des Turniers im ersten Jahr um 60 Prozent und im zweiten Jahr um 78 Prozent. Auch die konkurrierenden Universitätsteams, darunter Michigan und das MIT, schlug es um 30 bis 70 Prozent. Es übertraf sogar den internen Prognosemarkt der Geheimdienste selbst, dessen Analysten als geheim eingestufte Daten einsehen konnten: Bei 139 Fragen in den Jahren 2013 und 2014 waren die besten Methoden von Good Judgment um 34,7 Prozent genauer.
Das Projekt fasste die Superforecaster jedes Jahrgangs in gemeinsamen Teams zusammen und wertete ihre Prognosen weiter aus. Hätten ihre Bilanzen auf Glück beruht, hätten sie wieder in Richtung Durchschnitt abrutschen müssen. Die meisten rutschten nicht ab. Rund 70 Prozent behielten ihren Status im folgenden Jahr, und über alle Prognostiker hinweg lag die Korrelation zwischen der Genauigkeit eines Jahres und der des Folgejahres bei etwa 0,65.
Einer der ersten Superforecaster, ein Computerprogrammierer im Ruhestand namens Doug Lorch, gab in seinem ersten Jahr rund tausend Prognosen ab und belegte unter etwa 2.800 Teilnehmern den fünften Platz, mit einem Brier-Score von 0,22 (niedriger ist besser; mehr zum Brier-Score weiter unten). Im Jahr darauf erzielte er in einem Superforecaster-Team 0,14, den besten Wert im gesamten Projekt. Er war kein Spion und kein Quant. Er war ein Hobbyist, der ein System gefunden hatte, das funktionierte.
Der Name hat das Turnier überdauert. Good Judgment Inc., die kommerzielle Ausgründung des Projekts, verwendet ihn bis heute (in der Schreibweise Superforecaster®) für ihre professionellen Prognostiker, und KI-Forscher betrachten Superforecaster inzwischen als den menschlichen Maßstab, an dem Prognosemodelle gemessen werden.
Die meisten Menschen lesen das Buch, um Märkte oder Politik besser vorhersagen zu können. Dieser Leitfaden behandelt es als Trainingshandbuch für das Urteilsvermögen, denn klar über eine ungewisse Zukunft nachzudenken, ist genau die Fähigkeit, die Sie jedes Mal einsetzen, wenn Sie entscheiden, was Sie glauben, welchen Quellen Sie vertrauen und was Sie mit dem anfangen, was Sie lernen.
Warum die meisten Expertenprognosen scheitern
Tetlock hat sich das Recht, dieses Buch zu schreiben, auf die harte Tour erworben. Seine frühere Studie Expert Political Judgment (2005) begleitete 284 professionelle Kommentatoren und Analysten, die über rund zwanzig Jahre etwa 28.000 Prognosen abgaben. Das berühmte Urteil: Der durchschnittliche Experte war ungefähr so treffsicher wie "ein Dartpfeile werfender Schimpanse". Schlimmer noch: Je bekannter der Experte, desto ungenauer waren seine Prognosen tendenziell, denn selbstbewusste, alles erklärende Geschichten bringen einen ins Fernsehen, vorsichtiges Abwägen dagegen nicht.
Doch die Durchschnittswerte verdeckten eine Zweiteilung. In Anlehnung an Isaiah Berlins Metapher teilte Tetlock die Prognostiker in Igel und Füchse ein. Der Igel weiß eine große Sache und zwängt jede Frage durch eine einzige große Theorie. Der Fuchs weiß viele kleine Dinge, misstraut großen Theorien und fügt Belege aus vielen Quellen zusammen. Füchse prognostizierten durchweg besser. Igel machten kühnere Vorhersagen und erhielten mehr Aufmerksamkeit, aber ihre eine große Idee lenkte sie immer wieder in Irrtümer, die sie mit voller Überzeugung vertraten.
Die Lehre daraus ist nicht, dass Fachwissen nutzlos wäre, sondern dass Wissen und gute Kalibrierung zwei verschiedene Fähigkeiten sind. Viel über ein Thema zu wissen, sagt Ihnen, was passieren könnte. Es sagt Ihnen nicht automatisch, wie wahrscheinlich jedes einzelne Ergebnis ist, und genau um diese Wahrscheinlichkeit geht es bei einer Prognose. Diese Lücke erklärt, warum kluge, gut informierte Menschen so oft im Brustton der Überzeugung falschliegen, ein Muster, das Daniel Kahneman ein ganzes Forscherleben lang dokumentiert hat (siehe Thinking, Fast and Slow anwenden).
Was einen Superforecaster wirklich ausmacht
Die naheliegende Vermutung lautet Intelligenz. Superforecaster schnitten bei Intelligenz- und Wissenstests tatsächlich überdurchschnittlich ab, etwa in den obersten 20 Prozent, aber sie waren keine Ausreißer. Viele sehr kluge Menschen prognostizierten schlecht, und viele, die einfach nur aufgeweckt waren, glänzten. Der IQ setzte eine Untergrenze, keine Obergrenze.
Was die Besten auszeichnete, war eine Denkgewohnheit, die Tetlock "ewige Beta-Phase" nennt (im Original "perpetual beta"), in Anlehnung an den Software-Begriff für ein Produkt, das nie fertig ist und ständig verbessert wird. Superforecaster behandeln jede Überzeugung als Entwurf. Sie suchen aktiv nach Gründen, warum sie sich irren könnten, überarbeiten ihre Einschätzungen in kleinen Schritten, wenn nach und nach neue Belege eintreffen, und unterziehen ihre Fehlprognosen ehrlichen Nachbesprechungen. Tetlock schreibt, dass dieser feste Wille, die eigenen Überzeugungen anzupassen und sich selbst zu verbessern, der stärkste Prädiktor dafür ist, in die Reihen der Superforecaster aufzusteigen, etwa dreimal so aussagekräftig wie der nächstwichtigste Faktor, die Intelligenz. Adam Grant hat genau dieser Gewohnheit mit Think Again ein ganzes Buch gewidmet.
Die Menschen selbst waren auf dem Papier unscheinbar. Bill Flack, einer der herausragenden Prognostiker, war ein ehemaliger Mitarbeiter des US-Landwirtschaftsministeriums, lebte in Kearney, Nebraska, und war ein begeisterter Vogelbeobachter. Mary Simpson, eine Ökonomin, die ebenfalls Superforecasterin wurde, hat gesagt, sie habe "den Finanzcrash von 2007-2008 völlig übersehen", und zum Turnier kam sie "sehr skeptisch, ob irgendjemand in bestimmten Bereichen etwas vorhersagen kann". In etwas gut zu werden, bei dem man einmal gründlich danebenlag, ist Carol Dwecks Growth Mindset, angewandt auf eine einzige trainierbare Fähigkeit.
Vieles davon lässt sich vermitteln, und zwar schnell. In einem randomisierten Experiment verbesserte etwa eine Stunde Training zu Basisraten, Kalibrierung und typischen Denkfehlern die Genauigkeit der Prognostiker um 6 bis 11 Prozent, und in jedem der vier Turnierjahre schnitten geschulte Prognostiker besser ab als die ungeschulten Kontrollgruppen. Auch Teams halfen: Im Durchschnitt waren sie 23 Prozent genauer als Einzelpersonen, und Teams aus Superforecastern schlugen Prognosemärkte um 15 bis 30 Prozent. Die beruhigende Schlussfolgerung des gesamten Buches lautet, dass Superforecasting erlerntes Verhalten ist und keine Persönlichkeit, die man entweder hat oder nicht.
Fermisieren Sie die Frage und beginnen Sie von außen
Vor einer großen, vagen Frage verlassen sich die meisten Menschen auf ihr Bauchgefühl und eine Schlagzeile. Superforecaster tun das Gegenteil. Sie zerlegen die Frage in kleinere Teilfragen, die sich jeweils leichter durchdenken lassen, eine Technik, die Tetlock "Fermisieren" nennt, nach dem Physiker Enrico Fermi, der dafür berühmt war, schwierige Größen (wie die Anzahl der Klavierstimmer in Chicago) durch Zerlegung zu schätzen. Der Sinn, ein Problem auseinanderzunehmen, besteht darin, das, was Sie wissen, von dem zu trennen, was Sie raten, oder wie Tetlock es ausdrückt: das Unwissen "ans Licht zu spülen".
Der nächste Schritt ist kontraintuitiv: Beginnen Sie von außen, nicht von innen. Die Innensicht ist die konkrete Geschichte, die vor Ihnen liegt, mit all ihren lebhaften Details. Die Außensicht stellt eine nüchternere Frage: Wie oft geschehen Dinge dieser Art in Situationen dieser Art? Diese Basisrate ist Ihr Anker. Wenn Sie vorhersagen wollen, ob ein Start-up in fünf Jahren noch existieren wird, beginnen Sie nicht damit, wie inspirierend die Gründerin ist. Sie beginnen mit der Überlebensrate von Start-ups im Allgemeinen und korrigieren dann nach oben oder unten, je nachdem, was an diesem einen wirklich besonders ist.
Auch die Daten des Turniers selbst weisen in diese Richtung. Im letzten Turnierjahr konnten geschulte Prognostiker ankreuzen, auf welche von zehn Prinzipien sich eine Begründung stützte, und nur eines hing signifikant mit höherer Genauigkeit zusammen: Vergleichsklassen, also die Außensicht unter anderem Namen.
Die richtige Reihenfolge ist entscheidend. Verankern Sie sich zuerst an der lebhaften Geschichte der Innensicht, und jede Anpassung ist davon kontaminiert. Verankern Sie sich zuerst an der Basisrate, und die Details werden zu Korrekturen an einem vernünftigen Ausgangspunkt statt zur gesamten Grundlage Ihrer Vermutung. Es ist derselbe fuchsartige Instinkt (Breite vor Tiefe), der laut Range anwenden Generalisten in unvorhersehbaren Bereichen so erfolgreich macht.
Denken Sie in Wahrscheinlichkeiten, nicht in Worten
Die Alltagssprache ist der Ort, an dem Prognosen sterben. Im März 1951 kam eine nationale Lageeinschätzung der US-Geheimdienste (National Intelligence Estimate) zu dem Schluss, ein Angriff des Sowjetblocks auf Jugoslawien "sollte als ernsthafte Möglichkeit betrachtet werden". Als Sherman Kent, ein CIA-Analyst, der an dieser Einschätzung mitgewirkt hatte, Kollegen im Board of National Estimates fragte, an welche Wahrscheinlichkeit sie dabei gedacht hätten, reichten ihre Lesarten von 20 Prozent bis 80 Prozent. Kents eigene Lesart lag bei etwa 65 Prozent. Alle hatten sich auf den Satz geeinigt, doch was er bedeutete, verstand fast jeder anders. Eine solche Prognose lässt sich nicht bewerten, also kann sie nie falsch sein, also können Sie nie aus ihr lernen.
Superforecaster weigern sich, sich dort zu verstecken. Sie übersetzen Ahnungen in konkrete Wahrscheinlichkeiten und verwenden feine Abstufungen, 63 Prozent statt eines runden "wahrscheinlich". Diese Präzision ist keine falsche Selbstsicherheit, sondern das Gegenteil. Als Barbara Mellers und ihre Kollegen die Schätzungen von Superforecastern auf 0,1 genau rundeten, sank die Genauigkeit, was bedeutet, dass diese kleinen Unterschiede echte Information enthielten. Das Werkzeug, um Buch zu führen, ist der Brier-Score, der sowohl die Kalibrierung misst (treten Dinge, die Sie mit 70 Prozent angeben, in etwa 70 Prozent der Fälle ein?) als auch die Auflösung (beziehen Sie klare Positionen, statt sich bei 50 Prozent zu verstecken?). Niedriger ist besser.
| Prognosestil | Wie es klingt | Können Sie daraus lernen? |
|---|---|---|
| Vage Formulierungen | "Wahrscheinlich", "eine ernsthafte Möglichkeit", "unwahrscheinlich" | Nein, das lässt sich nicht bewerten |
| Runde Zahlen | "Etwa 70 Prozent" | Ein wenig, aber grob |
| Feinkörnige Wahrscheinlichkeiten | "63 Prozent, und zwar aus folgendem Grund" | Ja, die Kalibrierung verbessert sich mit der Zeit |
Zahlen leisten etwas, was Worte nicht können: Sie verwandeln eine Vorhersage in Feedback. Sagen Sie hundertmal "70 Prozent", und Sie können prüfen, ob ungefähr 70 dieser Dinge eingetreten sind. Sagen Sie hundertmal "wahrscheinlich", und Sie haben nichts über sich selbst gelernt. Zahlen schützen auch vor dem, was Tetlock den Fehlschluss der "falschen Seite des Vielleicht" nennt (wrong-side-of-maybe fallacy): eine Prognose von 70 Prozent als Fehlschlag zu werten, weil die 30 Prozent eingetreten sind. Ein einziges Danebenliegen sagt Ihnen fast nichts. Hundert Prognosen sagen Ihnen eine Menge.
Passen Sie Ihre Überzeugungen an wie ein Bayesianer
Eine einmal getroffene und für immer verteidigte Prognose ist nur eine Meinung. Das Herzstück der Methode ist das Anpassen: Sie korrigieren Ihre Wahrscheinlichkeit, sobald neue Belege eintreffen, und zwar im Verhältnis dazu, wie viel diese Belege aussagen. Das ist, dem Geiste nach, bayesianisches Denken, und Superforecaster tun es ständig, in kleinen Schritten, ohne Aufhebens.
Diese Disziplin hat zwei Seiten. Unterreaktion bedeutet, an einer früheren Prognose festzuhalten, weil man verankert ist, an ihr hängt oder sich schämt, von ihr abzurücken. Überreaktion bedeutet, bei jeder frischen Schlagzeile zu einer neuen Zahl zu springen und Rauschen für ein Signal zu halten. Die Kunst besteht darin, die Größe der Anpassung auf das Gewicht der Belege abzustimmen: Eine kleine Meldung verschiebt Ihre Schätzung um ein paar Punkte, eine echte Überraschung bewegt sie stark. Superforecaster waren in beidem deutlich besser: Sie änderten ihre Meinung häufiger als durchschnittliche Prognostiker, aber auch präziser.
Was das schwer macht, ist nicht die Mathematik, sondern das Ego. Anpassen heißt, öffentlich einzuräumen, dass die letzte Prognose nicht perfekt war, und die meisten Menschen sind lieber konsistent als genau. Die Lösung besteht darin, eine geänderte Meinung nicht länger als Niederlage zu betrachten. Annie Duke beschreibt in Thinking in Bets denselben Schritt als Trennung Ihrer Überzeugungen von Ihrer Identität: Die Frage ist nie "Hatte ich recht?", sondern "Was glaube ich jetzt, angesichts all dessen, was ich heute weiß?"
Bauen Sie eine Prognosepraxis auf, die Sie wirklich beibehalten
Ohne Aufzeichnungen bricht all das zusammen. Wenn Sie nicht aufschreiben, was Sie vorhergesagt haben, wann und warum, schreibt die Erinnerung die Geschichte leise so um, dass Sie im Grunde immer recht hatten. Das mit Abstand Praktischste, was Sie aus Superforecasting mitnehmen können, ist ein Prognosetagebuch, und Tetlocks Zehn Gebote sind die Checkliste, die hineingehört.
| Gebot | Was es in der Praxis bedeutet |
|---|---|
| Priorisieren | Mühe auf Fragen verwenden, bei denen sich die Arbeit wirklich auszahlt, nicht auf triviale oder aussichtslose |
| Probleme zerlegen | Fermisieren: eine große Frage in beantwortbare Teile aufteilen |
| Außen- und Innensicht ausbalancieren | Mit Basisraten beginnen, dann an die Besonderheiten anpassen |
| Überzeugungen anpassen | In kleinen Schritten überarbeiten, gewichtet nach den Belegen |
| Nach widerstreitenden Ursachenkräften suchen | Konkurrierende Erklärungen gleichzeitig im Kopf behalten |
| Das richtige Maß an Zweifel verwenden | Ahnungen in präzise Wahrscheinlichkeiten übersetzen |
| Umsicht und Entschlossenheit ausbalancieren | Weder vorschnell zur Gewissheit eilen noch sich hinter dem "Vielleicht" verstecken |
| Aus Misserfolg und Erfolg lernen | Bei beidem schonungslose Nachbesprechungen durchführen |
| Perspektivenübernahme im Team meistern | Produktiv widersprechen, präzise Fragen stellen |
| Bewusst mit Feedback üben | Prognostizieren wie ein trainierbares Handwerk behandeln |
Tetlock fügt ein elftes, halb scherzhaftes Gebot hinzu: Behandeln Sie die Gebote nicht als Gebote. Sie sind Leitlinien für eine unordentliche Welt, keine Gesetze.
Hier werden Ihre Lesewerkzeuge zu Prognosewerkzeugen. Wenn Sie eine Analyse lesen oder ein Briefing ansehen und darin eine Behauptung über die Zukunft aufgestellt wird, halten Sie sie fest. Mit Glasps Web-Highlighter können Sie genau diese Vorhersage markieren und Ihre eigene Wahrscheinlichkeit als Notiz direkt an der Quelle hinzufügen. Bei langen Argumentationen in Videos können Sie mit YouTube-Videozusammenfassungen die zentralen Behauptungen herausziehen und mit Zeitstempeln versehen, um zu jeder eine Prognose festzuhalten.
Wenn Sie Superforecasting selbst auf einem Kindle lesen, importieren Sie Ihre Kindle-Highlights, damit die Gebote, die Sie markiert haben, neben den Prognosen stehen, die Sie abgeben. Über Monate hinweg werden diese Anmerkungen zu einer durchsuchbaren Bilanz Ihrer Prognosen, und mit Glasps KI-Chat können Sie Fragen an alles richten, was Sie gespeichert haben, wenn Sie Ihre eigenen Überlegungen überprüfen. So führen Sie beim Lesen Buch, und das passt gut zum Ansatz des digitalen Commonplace Books, mit dem Sie sammeln, was Sie lernen.
So werden Sie Superforecaster
Es gibt keine Prüfung und keinen Kurs, der Ihnen den Titel verleiht. Sie verdienen ihn sich so wie die ersten Superforecaster: mit einer langen Reihe ausgewerteter Prognosen, mit der Sie fast alle anderen übertreffen, die dieselben Fragen prognostizieren. Ein paar Glückstreffer beweisen nichts. Hunderte ausgewertete Prognosen beweisen allmählich etwas.
Drei Gewohnheiten zählen am meisten:
- Prognostizieren Sie dort, wo Sie bewertet werden. Good Judgment Open, die öffentliche Prognoseplattform von Good Judgment Inc., steht allen offen. Bei Metaculus ist die Teilnahme kostenlos, und die Plattform veranstaltet saisonale Turniere wie den Metaculus Cup. Beide messen Sie an der Wirklichkeit und an allen anderen, die dieselbe Frage beantworten.
- Beantworten Sie viele Fragen und passen Sie Ihre Prognosen laufend an. Genauigkeit braucht eine Stichprobe. Superforecaster wurden anhand ihrer Bilanz über eine ganze Saison ausgewählt, und sie überarbeiteten ihre Prognosen, sobald Neuigkeiten eintrafen, statt eine einzige Einschätzung abzugeben und sich dann abzuwenden.
- Schreiben Sie Ihre Begründung auf. Good Judgment gibt an, jeden Herbst potenzielle Superforecaster auf Good Judgment Open zu rekrutieren und Interessierte zu bitten, dort mindestens 100 Fragen zu prognostizieren. Am stärksten achtet Good Judgment auf die durchschnittliche Genauigkeit, aber auch auf die Qualität der schriftlichen Kommentare und auf Kollegialität. Wer ausgewählt wird, erhält unter Umständen einen Probeauftrag, und neu Aufgenommene müssen eine dreimonatige Probezeit absolvieren. Metaculus wählt seine Pro Forecasters (die Profi-Prognostiker der Plattform) nach ihrer Erfolgsbilanz aus und danach, ob sie "ihre Begründungen in der Vergangenheit klar dargelegt haben".
| Wo Sie üben können | Was Sie bekommen | Weg zum Titel |
|---|---|---|
| Good Judgment Open | Bewertete Fragen zum Weltgeschehen, Ranglisten | Wer konstant zu den Besten gehört, kommt für die jährliche Auswahl professioneller Superforecaster bei Good Judgment infrage |
| Metaculus | Fragen, Turniere, Community-Prognosen, Punktwertungen | Pro Forecasters werden nach Erfolgsbilanz und klar erklärten Begründungen ausgewählt |
| Ein persönliches Prognosetagebuch | Fragen aus Ihrer eigenen Arbeit und Lektüre | Keiner, aber hier beginnt die Kalibrierung |
Lassen Sie das Tagebuch nicht weg, nur weil es die Plattformen gibt. Die Fragen auf den Plattformen formuliert jemand anderes. Ihr Urteilsvermögen schärfen am meisten Prognosen zu Fragen, die Sie selbst wählen: ob ein Projekt pünktlich fertig wird, ob die Vorhersage einer Quelle Bestand hat, ob sich der Trend aus dem Artikel, den Sie gerade gelesen haben, fortsetzt.
Superforecaster vs. KI: Der Stand im Jahr 2026
Bei klaren Fragen, deren Ausgang binnen Monaten feststeht, haben die besten KI-Prognosesysteme zu den Superforecastern aufgeschlossen, und bei Fragen, die aus Datenreihen erzeugt werden, liegen sie wahrscheinlich schon vorn. Bei einmaligen Fragen, die Urteilsvermögen verlangen, hat bislang niemand einen statistisch eindeutigen Vorsprung für die eine oder die andere Seite nachgewiesen. Das Team, das den wichtigsten Benchmark entwickelt hat, und Good Judgment Inc., die das professionelle Superforecaster-Panel betreibt, deuten dieselben Ergebnisse sehr unterschiedlich.
ForecastBench, entwickelt vom Forecasting Research Institute (FRI), vergleicht KI-Systeme mit Superforecastern anhand zweier Arten von Fragen: Datensatzfragen, die aus Datenreihen wie Wirtschaftsindikatoren erzeugt werden, und Marktfragen, die von Prognoseplattformen stammen. Im Januar 2026 lagen die Superforecaster noch auf Platz eins, 0,017 Brier-Punkte vor den besten Modellen, was nach Schätzung des FRI etwa einem Jahr Modellfortschritt entsprach. Für November 2026 sagte es einen Gleichstand voraus.
Er kam früher. Am 16. Juli 2026 meldete das FRI, dass mehrere Systeme, angeführt von einem System von Cassi AI und darunter auch Einreichungen von xAI und Google DeepMind, auf der Rangliste seines Turniers statistisch nicht von Superforecastern zu unterscheiden waren. Laut FRI war das System von Cassi zudem das erste, das bei Marktfragen über dem Median der Superforecaster lag. Bei den Datensatzfragen hatte KI die Superforecaster bereits im Mai eingeholt, und im Juli erklärte das FRI, viele Systeme seien ihnen dort wahrscheinlich überlegen. Seine Vorbehalte formulierte es offen: Prognosen von Superforecastern hatte es zuletzt 2024 erhoben, sodass der Vergleich auf einer statistischen Angleichung zwischen Fragensätzen ohne gemeinsame Fragen beruht, und die Konfidenzintervalle überlappen so stark, dass die Ergebnisse "eher zu einem Gleichstand mit den Superforecastern passen als zu einer Überlegenheit".
Good Judgment widersprach acht Tage später in einem Beitrag mit dem Titel "Not So Fast" ("Nicht so schnell") und brachte drei Einwände vor:
- Die menschliche Vergleichsbasis ist veraltet. Good Judgment nannte sie "eine eingefrorene Momentaufnahme einzelner Superforecaster vom Juli 2024, die weitgehend allein arbeiteten und ihre Prognosen kaum aktualisierten", dabei hatten die eigenen Experimente des Good Judgment Project gezeigt, dass Teams besser abschneiden als Einzelpersonen.
- Manche Marktfragen sind verkleidete Datenfragen. Fragen wie die, ob der Juli 2026 der wärmste Juli seit Beginn der Aufzeichnungen sein würde, seien in den Worten von Good Judgment "Datensatzfragen im Marktgewand", die sich anhand von Klimadaten beantworten lassen.
- Die Modelle kopieren womöglich den Markt. Das FRI hatte zuvor festgestellt, dass die Prognosen eines Modells eine Korrelation von 0,994 mit den Marktpreisen aufwiesen, die ihm gezeigt wurden, was die Frage aufwirft, wie viel von der Genauigkeit einer KI in Wahrheit die des Marktes ist.
Den anderen großen Vergleich betreibt Metaculus: FutureEval, bei dem die zehn besten Bots aus dem hauseigenen Bot-Turnier bei denselben Fragen gegen zehn der Pro Forecasters der Plattform antreten. In der Runde vom Frühjahr 2026 gewannen die Profis über 99 Fragen mit 1,25 Punkten pro Frage im direkten Vergleich, ein Vorsprung, den Metaculus als statistisch nicht signifikant bezeichnete. In den ersten beiden Quartalen 2025 hatte der Abstand noch 17,7 und 20,0 Punkte betragen. Wurden alle einzeln gewertet, belegten Menschen weiterhin neun der zehn vordersten Plätze. Dann kam der Metaculus Cup im Sommer 2026, bei dem Bots dieselben Fragen prognostizieren wie die menschlichen Teilnehmer, aber keine Preise gewinnen können. Zwei Bots, Laertes und das System von Mantic, belegten in der Gesamtwertung die Plätze eins und zwei, vor allen menschlichen Teilnehmern.
| Benchmark | Wer verglichen wird | Neuestes Ergebnis |
|---|---|---|
| ForecastBench (FRI) | KI-Systeme vs. eine Superforecaster-Vergleichsbasis von 2024 | Juli 2026: mehrere Systeme statistisch nicht von Superforecastern zu unterscheiden, und das System von Cassi lag bei Marktfragen vor ihnen |
| Metaculus FutureEval | Top-10-Bot-Team vs. 10 Pro Forecasters | Frühjahr 2026: Profis mit 1,25 Punkten pro Frage vorn, statistisch nicht signifikant |
| Metaculus Cup | Bots bei denselben Fragen wie menschliche Teilnehmer | Sommer 2026: Bots belegten in der Gesamtwertung die Plätze eins und zwei |
Für Sie als Leser folgen daraus zwei Dinge. Erstens wurden die Menschen, die dieses Buch beschreibt, zur Messlatte für KI-Prognosen, und die besten Modelle haben sie erst 2026 erreicht. Zweitens ist eine KI-Prognose nur eine weitere Quelle, die es abzuwägen gilt. Behandeln Sie sie so, wie ein Superforecaster einen Kommentator behandelt: Fragen Sie nach der Basisrate, prüfen Sie, ob sie nur den Markt wiedergibt, und schreiben Sie ihre Aussage auf, damit Sie sie später bewerten können.
Die ehrlichen Grenzen des Superforecastings
Superforecasting ist keine Zauberei, und Tetlock achtet genau auf die Grenzen der Methode. Die Turnierfragen hatten klare Stichtage und eindeutige Antworten, und die meisten blickten zwischen einem Monat und einem Jahr in die Zukunft. Das ist genau die Zone, in der die Methode glänzt, und genau der Bereich, in dem die meisten der wichtigsten Lebensfragen nicht angesiedelt sind. Fragen Sie "Wird es im nächsten Jahrzehnt einen Krieg geben?", so gibt es keine saubere Möglichkeit, das zu bewerten, kein schnelles Feedback und keine Gelegenheit zum Üben.
Die schärfste Kritik kommt von Nassim Taleb, der argumentiert, dass die Ereignisse, die die Welt wirklich umgestalten, die seltenen, folgenschweren "Schwarzen Schwäne" sind, die diese Turniere systematisch ausschließen. Bei Hunderten gewöhnlicher Fragen gut kalibriert zu sein, verrät Ihnen, so würde er sagen, wenig über das eine Extremereignis, auf das es ankommt. Tetlocks vernünftige Erwiderung lautet, dass kurzfristige Prognosefähigkeit und langfristige Demut nebeneinander bestehen können: Es lohnt sich, bei den beantwortbaren Fragen richtigzuliegen, auch wenn die unbeantwortbaren unbeantwortbar bleiben.
Selbst bei Fragen, die sich tatsächlich entscheiden, kann sich der Boden verschieben, auf dem die Methode steht. Im Existential Risk Persuasion Tournament des FRI, das 2022 stattfand, bezifferten Superforecaster die Wahrscheinlichkeit, dass ein KI-System bis 2025 bei der Internationalen Mathematik-Olympiade Goldmedaillen-Niveau erreicht, auf nur 2,3 Prozent. Im Juli 2025 war es so weit. Bei vier KI-Benchmarks, deren Fragen inzwischen entschieden sind, hatten Superforecaster den tatsächlichen Ergebnissen im Schnitt eine Wahrscheinlichkeit von 9,7 Prozent gegeben, Fachexperten dagegen 24,6 Prozent. Basisraten stammen aus der Vergangenheit, und sie führen am schnellsten in die Irre, wenn sich der Prozess verändert, der sie hervorbringt.
Es gibt auch eine subtilere Falle. Die Bewertung kann Sie zu sicheren, kurzfristigen Fragen ziehen, bei denen Sie gut dastehen, und weg von den vagen, wichtigen, bei denen das Urteilsvermögen am meisten zählt. Die Methode ist ein Werkzeug für eine bestimmte Art von Frage, keine Weltanschauung. Gut eingesetzt, schärft sie Ihr Denken. Schlecht eingesetzt, wird sie zu einem Mittel, sich bei Dingen präzise zu fühlen, die nicht zählen.
Häufig gestellte Fragen
Was ist ein Superforecaster?
Ein Superforecaster ist ein Mensch, dessen Wahrscheinlichkeitsprognosen sich über viele ausgewertete Fragen hinweg als durchweg genauer erwiesen haben als die fast aller anderen, die dieselben Fragen prognostizieren. Der Begriff stammt aus Philip Tetlocks Good Judgment Project, das den Titel jedes Jahr an die besten 2 Prozent seiner Prognostiker vergab. Etwa 70 Prozent behielten den Titel im folgenden Jahr. Good Judgment Inc. verwendet ihn bis heute für ihr professionelles Prognose-Panel.
Wer sind die bekanntesten Superforecaster?
Zwei der bekanntesten werden in Tetlocks Buch Superforecasting porträtiert. Doug Lorch, ein Computerprogrammierer im Ruhestand, belegte in seinem ersten Jahr den fünften Platz unter etwa 2.800 Prognostikern und erzielte im Jahr darauf den besten Wert des gesamten Projekts. Bill Flack, ein ehemaliger Mitarbeiter des US-Landwirtschaftsministeriums aus Nebraska, war ein weiterer herausragender Prognostiker. Keiner der beiden war professioneller Prognostiker oder Geheimdienstanalyst.
Sind Superforecaster besser als KI?
Nicht eindeutig, Stand 2026. Im Juli 2026 meldete das Forecasting Research Institute, dass mehrere KI-Systeme auf ForecastBench statistisch nicht von Superforecastern zu unterscheiden waren und dass viele bei Fragen, die aus Datenreihen erzeugt werden, wahrscheinlich besser abschneiden, wobei seine menschliche Vergleichsbasis aus dem Jahr 2024 stammt. Die Pro Forecasters von Metaculus lagen im Frühjahr 2026 noch vor dem besten Bot-Team, wenn auch mit einem Vorsprung, der zu klein war, um statistisch signifikant zu sein. Beim Metaculus Cup im Sommer 2026 landeten dagegen zwei Bots vor allen menschlichen Teilnehmern. Good Judgment gibt an, bei der eigenen Arbeit für Kunden, einer kleinen Stichprobe, bislang nicht festgestellt zu haben, dass KI Superforecastern ebenbürtig ist.
Wie wird man Superforecaster?
Bauen Sie eine lange Reihe ausgewerteter Prognosen auf. Prognostizieren Sie regelmäßig auf Good Judgment Open oder Metaculus, beantworten Sie viele Fragen statt nur weniger, passen Sie Ihre Prognosen an, wenn Neuigkeiten eintreffen, und schreiben Sie Ihre Begründung auf. Good Judgment gibt an, jeden Herbst potenzielle Superforecaster auf Good Judgment Open zu rekrutieren, Interessierte zu bitten, dort mindestens 100 Fragen zu prognostizieren, auf Genauigkeit, Qualität der Kommentare und Kollegialität zu achten, gegebenenfalls einen Probeauftrag anzubieten und neu Aufgenommene eine dreimonatige Probezeit absolvieren zu lassen.
Kann man Superforecasting lernen?
Ja, und das ist die zentrale Erkenntnis des Buches. Superforecaster schnitten bei Intelligenztests überdurchschnittlich ab, waren aber keine Genies, und Tetlock schreibt, dass der stärkste Prädiktor dafür, einer zu werden, die "ewige Beta-Phase" (perpetual beta) war: der feste Wille, die eigenen Überzeugungen anzupassen und sich selbst zu verbessern, etwa dreimal so aussagekräftig wie Intelligenz. Im randomisierten Trainingsexperiment des Turniers verbesserte etwa eine Stunde Training die Genauigkeit gewöhnlicher Prognostiker um 6 bis 11 Prozent.
Wie unterscheidet sich Superforecasting von Thinking in Bets?
Sie ergänzen sich. Annie Dukes Thinking in Bets konzentriert sich auf die Entscheidungsqualität unter Unsicherheit und darauf, gute Entscheidungen von glücklichen Ergebnissen zu trennen. Tetlocks Superforecasting konzentriert sich auf die Vorhersage selbst: wie man zukünftigen Ereignissen genaue Wahrscheinlichkeiten zuweist und misst, ob man kalibriert war. Das eine handelt vom guten Entscheiden, das andere vom klaren Sehen. Zusammen gelesen decken sie beide Hälften des Denkens unter Unsicherheit ab.
Was ist ein Brier-Score, einfach erklärt?
Der Brier-Score ist eine Methode, Wahrscheinlichkeitsprognosen zu benoten, wobei niedriger besser ist und null perfekt. Er belohnt zwei Dinge zugleich: Kalibrierung (Dinge, die Sie mit 70 Prozent angeben, sollten in etwa 70 Prozent der Fälle eintreten) und Auflösung (klare Positionen beziehen, statt sich immer nahe 50 Prozent abzusichern). Um ihn zu berechnen, brauchen Sie ein laufendes Protokoll Ihrer Vorhersagen und der Ergebnisse, weshalb ein Prognosetagebuch die Grundlage der gesamten Praxis ist.
Brauche ich Mathematik, um ein besserer Prognostiker zu werden?
Es ist keine fortgeschrittene Mathematik erforderlich. Die Kernschritte sind Gewohnheiten: eine Frage in Teile zerlegen, von einer Basisrate ausgehen, die eigene Einschätzung als konkrete Zahl ausdrücken und sie in kleinen Schritten anpassen, sobald Belege eintreffen. Bayesianisches Anpassen ist eine Geisteshaltung, bevor es eine Gleichung ist. Der eigentliche Engpass ist nicht die Berechnung, sondern die Bereitschaft, Ihre Vorhersagen aufzuschreiben, sie ehrlich zu überprüfen und Ihre Meinung zu ändern.
Wie kann ich noch heute mit dem Üben anfangen?
Wählen Sie eine Handvoll Fragen mit einer klaren Antwort und einer nahen Frist aus, aus Ihrer Arbeit, Ihrer Lektüre oder den Nachrichten. Schreiben Sie für jede eine konkrete Wahrscheinlichkeit auf und einen Satz zu Ihrer Begründung. Sobald eine Frage entschieden ist, vergleichen Sie Ihre Prognose mit dem Ergebnis und führen Sie eine kurze Nachbesprechung durch. Wenn Sie beim Lesen Vorhersagen markieren und am Rand eine Wahrscheinlichkeit notieren, verwandelt sich Ihre normale Lektüre in einen stetigen Strom von Übungsfragen.
Fazit
Der stille Radikalismus von Superforecasting ist sein Optimismus. Jahrzehntelang war die Botschaft aus Tetlocks Arbeit zynisch: Experten können nichts vorhersagen, warum sich also die Mühe machen. Das Turnier kehrte das um. Eine Gruppe gewöhnlicher Menschen, ausgestattet mit einer Methode und der Disziplin, Buch zu führen, lernte, die Zukunft klarer zu sehen als Profis mit geheimen Akten. Die Methode ist lehrbar, und das meiste davon läuft auf Gewohnheiten hinaus, die jeder sorgfältige Leser aufbauen kann. Jetzt, da die besten KI-Systeme bei den wichtigsten Benchmarks mit Superforecastern gleichgezogen haben, sind es dieselben Gewohnheiten, mit denen Sie jede Prognose beurteilen, die man Ihnen vorlegt, ob sie nun von einem Menschen oder von einem Modell stammt.
Fangen Sie klein an. Zerlegen Sie Fragen, verankern Sie sich daran, wie oft Dinge dieser Art normalerweise geschehen, geben Sie Ihrer Überzeugung eine echte Zahl und passen Sie sie ohne Ego an, während die Welt Ihnen antwortet. Dann schreiben Sie es auf. Nutzen Sie Glasps Web-Highlighter, um die Behauptungen festzuhalten, auf die Sie beim Lesen stoßen, und notieren Sie zu jeder Ihre eigene Wahrscheinlichkeit, stützen Sie sich auf YouTube-Videozusammenfassungen, um Prognosen zu den Argumenten festzuhalten, die Sie sich ansehen, und lassen Sie sich von Glasps Community-Feed zeigen, wie andere sorgfältige Leser dieselbe Unsicherheit durchdenken. Gut zu prognostizieren ist eine Fähigkeit. Wie jede lohnende Fähigkeit wächst sie aus bewusstem Üben, ehrlichem Feedback und einer Aufzeichnung, aus der Sie lernen können. Das Notizsystem, das all das zusammenhält, finden Sie im Leitfaden Intelligente Notizen.
