Le livre qui a fait de la prévision une compétence mesurable
En 2011, l'Intelligence Advanced Research Projects Activity, une branche de recherche de la communauté du renseignement américaine, a organisé un concours étrange. Elle voulait savoir si quelqu'un était réellement capable de prévoir les événements mondiaux, alors elle a invité des équipes universitaires à s'affronter. Chaque équipe a recruté des bénévoles pour répondre à des centaines de questions géopolitiques difficiles avec des probabilités chiffrées : ce pays fera-t-il défaut ? Ces deux nations vont-elles se battre ? Ce dirigeant sera-t-il encore au pouvoir dans six mois ?
Philip Tetlock et Barbara Mellers dirigeaient l'une de ces équipes, le Good Judgment Project. En quatre ans, des milliers de bénévoles en ligne ont produit plus d'un million de prévisions sur environ 500 questions. Les résultats ont mis les professionnels dans l'embarras. Good Judgment a battu les autres équipes universitaires avec des marges de 35 à 72 % en précision, et ses meilleurs prévisionnistes étaient environ 30 % plus précis que des analystes du renseignement qui avaient accès à des informations classifiées que les bénévoles n'ont jamais vues.
Le livre que Tetlock a écrit avec le journaliste Dan Gardner, Superforecasting: The Art and Science of Prediction (2015), raconte l'histoire de ces personnes et de ce qui les rendait douées. L'une d'elles, un programmeur informatique à la retraite nommé Doug Lorch, a produit à lui seul environ mille prévisions la première année et a terminé cinquième sur près de 2 800 concurrents. Ce n'était ni un espion ni un quant. C'était un amateur qui avait trouvé un système qui marchait.
La plupart des gens lisent Superforecasting pour mieux prédire les marchés ou la politique. Ce guide le traite comme quelque chose de plus utile pour un lecteur : un manuel d'entraînement du jugement. La compétence que Tetlock isole, penser clairement à un avenir incertain, est la même que celle que vous employez chaque fois que vous décidez de ce qu'il faut croire, des sources auxquelles vous fier et de ce qu'il faut faire de ce que vous apprenez.
Pourquoi la plupart des prédictions d'experts échouent
Tetlock a gagné le droit d'écrire ce livre à la dure. Ses travaux antérieurs, Expert Political Judgment (2005), ont suivi des centaines de commentateurs et d'analystes professionnels qui ont fait des dizaines de milliers de prédictions sur environ vingt ans. Le verdict célèbre : l'expert moyen était à peu près aussi précis qu'« un chimpanzé lançant des fléchettes ». Pire encore, plus l'expert était célèbre, plus son calibrage tendait à être mauvais, car des récits assurés et à l'emporte-pièce vous font passer à la télévision, contrairement à des réserves prudentes.
Mais les moyennes cachaient une fracture. Empruntant la métaphore d'Isaiah Berlin, Tetlock a réparti les prévisionnistes en hérissons et en renards. Le hérisson connaît une seule grande chose et fait passer chaque question par une unique théorie grandiose. Le renard connaît beaucoup de petites choses, se méfie des grandes théories et assemble des preuves issues de multiples sources. Les renards prévoyaient systématiquement mieux. Les hérissons faisaient des prédictions plus audacieuses et attiraient davantage l'attention, mais leur unique grande idée continuait de les entraîner vers des erreurs assurées.
La leçon n'est pas que l'expertise est inutile. C'est qu'être bien informé et être bien calibré sont deux compétences différentes. Bien connaître un sujet vous dit ce qui pourrait arriver. Cela ne vous dit pas automatiquement quelle est la probabilité de chaque issue, et c'est de probabilité qu'une prévision traite réellement. Cet écart explique pourquoi des gens intelligents et informés ont si souvent tort avec assurance, un schéma que Daniel Kahneman a passé toute une carrière à documenter dans comment appliquer Système 1 / Système 2.
Ce qui fait vraiment un superprévisionniste
La supposition évidente, c'est l'intelligence. Les superprévisionnistes ont bien obtenu des scores supérieurs à la moyenne aux tests d'intelligence et de connaissances, environ dans les 20 % du haut, mais ils n'étaient pas des cas à part. Beaucoup de gens très intelligents prévoient mal, et beaucoup de gens simplement brillants excellaient. Le QI fixait un plancher, pas un plafond.
Ce qui distinguait les meilleurs, c'était une habitude d'esprit que Tetlock appelle le « bêta perpétuel », empruntant le terme informatique désignant un produit jamais achevé et toujours en cours d'amélioration. Les superprévisionnistes traitent chaque croyance comme un brouillon. Ils cherchent activement les raisons pour lesquelles ils pourraient se tromper, ils révisent par petites touches à mesure que les preuves affluent, et ils mènent des post-mortems honnêtes sur leurs erreurs. Tetlock a constaté que cet engagement envers la révision et l'auto-amélioration prédisait la précision environ trois fois mieux que l'intelligence elle-même.
Les personnes elles-mêmes étaient banales sur le papier. Bill Flack, l'un des prévisionnistes remarquables, était un employé retraité du Département de l'Agriculture des États-Unis originaire du Nebraska qui aimait observer les oiseaux. D'autres y sont venus après une erreur douloureuse : certains ont rejoint le projet précisément parce qu'ils n'avaient pas vu venir quelque chose, comme la crise financière de 2008, et voulaient s'améliorer. C'est l'état d'esprit de développement que Carol Dweck décrit dans comment appliquer Osez réussir, orienté vers une seule compétence entraînable. L'implication rassurante de tout le livre, c'est que le superprévisionnisme est un comportement appris, et non une personnalité dont on serait privé à jamais.
« Fermi-iser » la question et partir de l'extérieur
Face à une grande question vague, la plupart des gens s'en remettent à leur intuition et à un gros titre. Les superprévisionnistes font l'inverse. Ils décomposent la question en sous-questions plus petites, chacune plus facile à analyser, une technique que Tetlock appelle « fermi-iser » d'après le physicien Enrico Fermi, célèbre pour estimer des grandeurs difficiles (comme le nombre d'accordeurs de piano à Chicago) en les décomposant. L'intérêt de démembrer un problème est de séparer ce que vous savez réellement de ce que vous devinez, ou, comme le dit Tetlock, de « faire sortir l'ignorance au grand jour ».
Le mouvement suivant est contre-intuitif : partez de l'extérieur, pas de l'intérieur. La vue de l'intérieur, c'est l'histoire précise qui est devant vous, avec tous ses détails vivants. La vue de l'extérieur pose une question plus froide : à quelle fréquence des choses de ce type se produisent-elles dans des situations de ce genre ? Ce taux de base est votre ancre. Si vous voulez prévoir si une start-up existera encore dans cinq ans, vous ne commencez pas par l'inspiration que dégage son fondateur. Vous commencez par le taux de survie des start-up en général, puis vous ajustez à la hausse ou à la baisse selon ce qui est véritablement particulier à celle-ci.
Le bon ordre compte. Ancrez-vous d'abord sur l'histoire vivante de l'intérieur et chaque ajustement en sera contaminé. Ancrez-vous d'abord sur le taux de base et les détails deviennent des corrections apportées à un point de départ raisonnable, au lieu de constituer toute la base de votre estimation. C'est ce même instinct de renard, l'étendue avant la profondeur, que comment appliquer Range présente comme ce qui rend les généralistes si efficaces dans les domaines imprévisibles.
Penser en probabilités, pas en mots
Le langage ordinaire est l'endroit où les prévisions vont mourir. « Il y a une réelle chance de récession » a l'air d'une affirmation, mais elle ne peut pas être notée, donc elle ne peut jamais être fausse, donc vous ne pouvez jamais en tirer de leçon. Les études sur les mots de probabilité vagues montrent clairement le problème : quand on demande aux gens ce que signifie numériquement « une réelle possibilité », les réponses vont d'environ 20 % à plus de 80 %. Chacun entend son propre chiffre.
Les superprévisionnistes refusent de s'y cacher. Ils traduisent leurs intuitions en probabilités précises et utilisent des gradations fines, 63 % plutôt qu'un « probable » arrondi. Cette précision n'est pas une fausse assurance, c'est le contraire. Tetlock a constaté que lorsque les chercheurs arrondissaient les estimations des superprévisionnistes à des chiffres plus grossiers, leur précision baissait, ce qui signifie que ces petites distinctions portaient une véritable information. L'outil pour tenir le compte est le score de Brier, qui mesure à la fois le calibrage (les choses auxquelles vous attribuez 70 % se produisent-elles environ 70 % du temps ?) et la résolution (prenez-vous des positions décisives au lieu de vous cacher à 50 % ?). Plus il est bas, mieux c'est.
| Style de prévision | À quoi cela ressemble | Peut-on en tirer une leçon ? |
|---|---|---|
| Mots vagues | « Probablement », « une réelle chance », « peu probable » | Non, cela ne peut pas être noté |
| Chiffres ronds | « Environ 70 % » | Un peu, mais grossièrement |
| Probabilités fines | « 63 %, et voici pourquoi » | Oui, le calibrage s'améliore avec le temps |
Les chiffres font quelque chose que les mots ne peuvent pas : ils transforment une prédiction en retour d'information. Dites « 70 % » une centaine de fois et vous pouvez vérifier si environ 70 de ces choses se sont produites. Dites « probablement » une centaine de fois et vous n'avez rien appris sur vous-même.
Réviser ses croyances comme un bayésien
Une prévision faite une seule fois et défendue à jamais n'est qu'une opinion. Le cœur de la méthode, c'est la révision : ajuster sa probabilité à mesure que de nouvelles preuves arrivent, en proportion de ce que ces preuves vous apprennent réellement. C'est un raisonnement bayésien dans l'esprit, et les superprévisionnistes le pratiquent constamment, par petits incréments, sans drame.
La discipline joue dans les deux sens. La sous-réaction, c'est s'accrocher à une prévision antérieure parce qu'on est ancré, engagé ou gêné d'en changer. La surréaction, c'est bondir vers un nouveau chiffre chaque fois qu'un gros titre frais tombe, en prenant le bruit pour un signal. Le savoir-faire consiste à calibrer l'ampleur de la révision sur le poids des preuves : une information mineure vous fait bouger de quelques points, une véritable surprise vous déplace beaucoup. Les superprévisionnistes étaient nettement meilleurs sur les deux plans, changeant d'avis plus souvent que les prévisionnistes moyens, mais aussi plus précisément.
Ce qui rend cela difficile, ce n'est pas le calcul, c'est l'ego. Réviser signifie concéder publiquement que votre dernière prévision était moins que parfaite, et la plupart des gens préfèrent être cohérents plutôt que précis. Le remède, c'est de cesser de traiter un changement d'avis comme une défaite. Annie Duke présente le même mouvement comme le fait de séparer ses croyances de son identité dans comment appliquer Thinking in Bets : la question n'est jamais « avais-je raison », mais « que crois-je maintenant, au vu de tout ce que je sais aujourd'hui ».
Bâtir une pratique de prévision que vous tenez vraiment
Tout ce qui précède s'effondre sans trace écrite. Si vous ne notez pas ce que vous avez prédit, quand et pourquoi, la mémoire réécrit discrètement l'histoire pour que vous ayez eu, au fond, toujours raison. La chose la plus concrète que vous puissiez tirer de Superforecasting est un journal de prévision, et les Dix Commandements de Tetlock sont la liste de contrôle qui s'y glisse.
| Commandement | Ce que cela signifie en pratique |
|---|---|
| Faire le tri | Consacrer ses efforts aux questions où le travail porte vraiment ses fruits, ni aux triviales ni aux désespérées |
| Décomposer les problèmes | Fermi-iser : diviser une grande question en morceaux traitables |
| Équilibrer vue de l'extérieur et de l'intérieur | Partir des taux de base, puis ajuster selon les spécificités |
| Réviser ses croyances | Corriger par petites touches pondérées par les preuves |
| Chercher les forces causales opposées | Tenir en tête plusieurs explications concurrentes à la fois |
| Doser correctement le doute | Traduire ses intuitions en probabilités précises |
| Équilibrer prudence et décision | Ne pas se précipiter vers la certitude ni se cacher derrière un « peut-être » |
| Apprendre de l'échec et du succès | Mener des post-mortems sans complaisance sur les deux |
| Maîtriser la prise de perspective en équipe | Être en désaccord de façon productive, poser des questions précises |
| Pratiquer délibérément avec retour d'information | Traiter la prévision comme un métier qui s'entraîne |
Tetlock ajoute un onzième commandement, à moitié pour rire : ne traitez pas les commandements comme des commandements. Ce sont des lignes directrices pour un monde désordonné, pas des lois.
C'est ici que vos outils de lecture deviennent des outils de prévision. Quand vous lisez une analyse ou regardez un briefing et qu'il avance une affirmation sur l'avenir, capturez-la. Avec le surligneur web de Glasp, vous pouvez surligner la prédiction exacte et ajouter votre propre probabilité en note, directement sur la source. Pour les longues argumentations vidéo, les résumés de vidéos YouTube vous permettent d'extraire les affirmations clés et de les horodater afin de consigner une prévision face à chacune. Au fil des mois, ces annotations deviennent un historique consultable, et le chat IA de Glasp peut vous aider à revoir votre propre raisonnement en posant des questions sur tout ce que vous avez sauvegardé. L'habitude de consigner une probabilité chaque fois que vous rencontrez une affirmation est la version « côté lecture » de tenir le compte, et elle s'accorde naturellement avec l'approche du carnet de lieux communs numérique pour rassembler ce que vous apprenez.
Les limites honnêtes du superprévisionnisme
Le superprévisionnisme n'est pas magique, et Tetlock est prudent quant à ses frontières. Les questions du tournoi avaient des dates de résolution claires et des réponses définies, généralement en un an ou deux. C'est exactement la zone où la méthode brille et exactement là où ne se trouvent pas la plupart des plus grandes questions de la vie. Demandez « y aura-t-il une guerre dans la prochaine décennie » et il n'y a pas de moyen propre de la noter, pas de retour d'information rapide et pas de moyen de s'entraîner.
La critique la plus tranchante vient de Nassim Taleb, qui soutient que les événements qui remodèlent véritablement le monde sont les rares « cygnes noirs » à fort impact que ces tournois excluent systématiquement. Être bien calibré sur des centaines de questions ordinaires, dirait-il, ne vous apprend presque rien sur l'unique événement de queue qui compte réellement. La réponse raisonnable de Tetlock, c'est que la compétence de prévision à court terme et l'humilité à long terme peuvent coexister : bien répondre aux questions connaissables vaut la peine, même si les inconnaissables demeurent inconnaissables.
Il existe un piège plus subtil aussi. La notation peut vous entraîner vers des questions sûres et à court terme où vous paraîtrez bon, et vous éloigner des questions vagues et importantes où le jugement compte le plus. La méthode est un outil pour un type précis de question, pas une vision du monde. Bien employée, elle affûte votre pensée. Mal employée, elle devient un moyen de se sentir précis sur des choses qui ne comptent pas.
Questions fréquentes
Le superprévisionnisme est-il inné ou peut-il s'apprendre ?
Il s'apprend. C'est la conclusion centrale du livre. Les superprévisionnistes obtenaient des scores supérieurs à la moyenne en intelligence, mais n'étaient pas des génies, et le meilleur indicateur de la compétence n'était pas le QI mais le « bêta perpétuel », l'habitude de réviser et d'améliorer sans cesse ses croyances. Tetlock l'a trouvé environ trois fois plus prédictif de la précision que l'intelligence. Dans les expériences de formation du tournoi, même un court tutoriel sur des techniques comme les taux de base améliorait de façon mesurable des prévisionnistes ordinaires.
En quoi Superforecasting diffère-t-il de Thinking in Bets ?
Ils sont complémentaires. Thinking in Bets d'Annie Duke porte sur la qualité de la décision en situation d'incertitude et sur la distinction entre bonnes décisions et issues chanceuses. Superforecasting de Tetlock porte sur la prédiction elle-même : comment attribuer des probabilités justes à des événements futurs et mesurer si l'on était calibré. L'un traite de bien décider, l'autre de voir clair. Lus ensemble, ils couvrent les deux moitiés du raisonnement en situation d'incertitude.
Qu'est-ce qu'un score de Brier, en termes simples ?
C'est une façon de noter des prévisions probabilistes, où plus c'est bas, mieux c'est, et où zéro est parfait. Il récompense deux choses à la fois : le calibrage (les choses auxquelles vous attribuez 70 % devraient se produire environ 70 % du temps) et la résolution (prendre des positions décisives au lieu de toujours louvoyer autour de 50 %). Pour le calculer, il vous faut un registre courant de prédictions et de résultats, ce qui explique pourquoi tenir un journal de prévision est le fondement de toute la pratique.
Faut-il des maths pour devenir un meilleur prévisionniste ?
Aucune mathématique avancée n'est requise. Les gestes essentiels sont des habitudes : décomposer une question en éléments, partir d'un taux de base, exprimer son point de vue par un chiffre précis et réviser par petites touches à mesure que les preuves arrivent. La révision bayésienne est un état d'esprit avant d'être une équation. Le véritable goulot d'étranglement n'est pas le calcul, c'est la volonté de noter ses prédictions, de les vérifier honnêtement et de changer d'avis.
Comment commencer à m'entraîner dès aujourd'hui ?
Choisissez une poignée de questions à la réponse claire et à l'échéance proche, tirées de votre travail, de vos lectures ou de l'actualité. Notez pour chacune une probabilité précise et une phrase sur votre raisonnement. Lorsque chacune se résout, comparez et menez un court post-mortem. Surligner les prédictions au fil de votre lecture, avec une probabilité inscrite en marge, transforme votre lecture normale en un flux régulier de questions d'entraînement.
Conclusion
Le radicalisme discret de Superforecasting, c'est son optimisme. Pendant des décennies, la leçon des travaux de Tetlock a été cynique : les experts ne savent pas prédire, alors pourquoi essayer. Le tournoi a renversé cela. Un groupe de gens ordinaires, armés d'une méthode et de la discipline de tenir le compte, a appris à voir l'avenir plus clairement que des professionnels munis de dossiers secrets. La méthode s'enseigne, et l'essentiel se résume à des habitudes que tout lecteur attentif peut bâtir.
Commencez petit. Démembrez les questions, ancrez-vous sur la fréquence à laquelle des choses de ce type se produisent d'ordinaire, mettez un vrai chiffre sur votre croyance, et révisez-la sans ego à mesure que le monde vous répond. Puis, crucialement, notez-le. Utilisez le surligneur web de Glasp pour capturer les affirmations que vous rencontrez en lisant et étiquetez chacune de votre propre probabilité, appuyez-vous sur les résumés de vidéos YouTube pour consigner des prévisions face aux arguments que vous regardez, et laissez le fil communautaire de Glasp vous montrer comment d'autres lecteurs attentifs raisonnent face à la même incertitude. Bien prévoir est une compétence. Comme toute compétence qui vaut la peine, elle grandit par la pratique délibérée, un retour d'information honnête et une trace dont vous pouvez réellement tirer des leçons. Pour le système de prise de notes qui tient le tout ensemble, voir comment prendre des notes intelligentes.