The Bitter Lesson : l'essai sur l'IA de Rich Sutton expliqué

La seule phrase derrière l'essor de l'IA

Le 13 mars 2019, Richard Sutton a publié un court essai sur son site web personnel. Sutton n'est pas un vendeur de rêve. C'est l'un des fondateurs de l'apprentissage par renforcement, coauteur du manuel de référence du domaine, et plus tard lauréat du prix Turing. L'essai fait à peine plus d'une page. Il a sans doute façonné plus de décisions à un milliard de dollars que n'importe quel livre d'affaires publié cette décennie-là.

Sa phrase d'ouverture résume tout l'argument : « La plus grande leçon que l'on puisse tirer de 70 ans de recherche en IA est que les méthodes générales qui tirent parti du calcul sont en fin de compte les plus efficaces, et de loin. »

Relisez-la deux fois, car elle est moins évidente qu'il n'y paraît. Sutton ne dit pas que le calcul aide. Il dit qu'à long terme, c'est la seule chose qui l'emporte de façon fiable, et que le savoir humain que nous intégrons amoureusement dans nos systèmes a tendance à faire obstacle. Les méthodes qui passent à l'échelle avec la puissance de calcul brute battent les méthodes qui encodent ce que des gens intelligents ont déjà compris. Pas de peu. De loin.

Cette affirmation semble presque anti-intellectuelle. Elle dit que l'expert du domaine, la personne qui comprend la structure particulière du problème, est en général celle qui perd. Et Sutton ne l'a pas défendue à partir de la théorie. Il l'a défendue à partir de six décennies de chercheurs en IA commettant la même erreur, la voyant échouer, puis la recommençant.

Soixante ans, quatre fois la même erreur

La force de l'essai, c'est qu'il s'agit d'un schéma, pas d'une opinion. Sutton passe en revue quatre domaines où le même film s'est déroulé.

Les échecs. Pendant des décennies, les chercheurs en échecs sur ordinateur ont tenté d'encoder la compréhension humaine des échecs : la théorie des ouvertures, les heuristiques positionnelles, la sagesse des grands maîtres. Puis, en 1997, Deep Blue d'IBM a battu le champion du monde Garry Kasparov grâce à une recherche massive et profonde, évaluant des centaines de millions de positions par seconde. La machine ne « comprenait » pas les échecs comme un grand maître. Elle cherchait. Les approches fondées sur le savoir ont perdu face à l'exploration brute tournant sur du matériel spécialisé.

Le go. Le go était censé être différent. Le plateau est bien trop vaste pour une recherche par force brute, donc c'était forcément le jeu où l'intuition humaine resterait essentielle. Puis, une vingtaine d'années après Deep Blue, AlphaGo de DeepMind a battu Lee Sedol en 2016, et son successeur AlphaZero a appris à jouer au go, aux échecs et au shogi à un niveau surhumain à partir de zéro, par auto-apprentissage, sans aucune partie humaine. Même histoire, même dénouement : la recherche combinée à l'apprentissage a battu le savoir humain encodé.

La reconnaissance vocale. Dans les années 1970, la DARPA a organisé un concours de reconnaissance vocale. Un camp utilisait le savoir humain sur les mots, les phonèmes et l'appareil vocal humain. L'autre utilisait des méthodes statistiques et des modèles de Markov cachés, qui faisaient davantage de calcul et en savaient moins sur le langage. Les statistiques ont gagné. Des décennies plus tard, l'apprentissage profond a poussé la même leçon plus loin, et les systèmes vocaux modernes ne contiennent presque aucune linguistique codée à la main.

La vision par ordinateur. Les premières recherches en vision cherchaient des contours, des coins et des caractéristiques ingénieuses conçues à la main comme SIFT. Puis, en 2012, un réseau de neurones profond connu sous le nom d'AlexNet a réduit le taux d'erreur sur le benchmark ImageNet d'environ 26 % à environ 16 % en un seul bond, en utilisant la convolution, les GPU et les données plutôt que des caractéristiques conçues par des humains. Le pipeline fait à la main qu'une génération de chercheurs avait affiné avait disparu en quelques années.

Quatre domaines, quatre groupes d'experts, un seul résultat. À chaque fois, les personnes qui comprenaient le mieux le problème ont soutenu l'approche qui a perdu.

Pourquoi ils l'ont appelée « amère »

Voici la partie que les gens sautent. La leçon n'est pas seulement « le calcul gagne ». C'est que la victoire fait mal, et que ce mauvais ressenti pousse des gens intelligents à continuer d'y résister.

Quand Deep Blue a gagné grâce à la recherche, note Sutton, la réaction des chercheurs en échecs fondés sur le savoir humain n'a pas été la curiosité. C'était plutôt du dépit. Ils avaient bâti des carrières sur l'idée que la maîtrise des échecs exigeait une compréhension positionnelle profonde, et une machine qui se contentait surtout de chercher venait de mettre cette idée dans l'embarras. Selon ses mots, ils « n'étaient pas de bons perdants ».

Le schéma obéit à une logique émotionnelle. Intégrer votre propre savoir dans un système procure de la satisfaction. Cela fait mieux fonctionner le système aujourd'hui, et cela vous donne l'impression que l'amélioration vient de votre clairvoyance. Ce gain à court terme est réel, ce qui est précisément pourquoi c'est un piège. Vous êtes récompensé maintenant pour l'action même qui plafonnera plus tard.

Le résumé que fait Sutton de ce cycle mérite d'être gardé en tête :

• Les chercheurs intègrent le savoir humain dans leurs systèmes.
• Cela aide, et c'est agréable, à court terme.
• Avec le temps, cela atteint un plateau et peut activement bloquer tout progrès ultérieur.
• La percée finit par venir de la direction opposée : mettre le calcul à l'échelle par la recherche et l'apprentissage.

La leçon est amère parce qu'il ne cesse jamais d'être tentant de l'ignorer. Chaque nouveau domaine arrive convaincu que cette fois-ci la clairvoyance humaine est essentielle, que ce problème est spécial. Jusqu'à présent, cette conviction affiche un bilan perdant.

Recherche et apprentissage : les deux seules choses qui passent à l'échelle

Si le savoir humain est ce qui plafonne, quelle est la chose qui ne plafonne pas ? Sutton en nomme exactement deux : la recherche et l'apprentissage.

Toutes deux partagent une propriété rare. Elles s'améliorent quand on leur consacre plus de calcul, et elles continuent de s'améliorer. La recherche explore plus de possibilités par seconde à mesure que le matériel progresse. L'apprentissage extrait davantage de structure à partir de davantage de données à mesure que les modèles et le calcul grandissent. Ni l'une ni l'autre ne dépend d'un humain ayant déjà trouvé la réponse, ce qui explique pourquoi aucune des deux n'atteint le même plafond.

C'est là que l'argument de Sutton devient philosophique, et là que se trouve sa meilleure phrase. La raison d'arrêter de coder le savoir à la main, écrit-il, est que « le contenu réel des esprits est prodigieusement, irrémédiablement complexe ». Notre façon de penser l'espace, les objets, les autres agents et la symétrie est bien plus désordonnée que n'importe quelle règle bien nette que nous pourrions écrire. Ainsi, lorsque nous essayons de comprimer notre compréhension dans un système, nous livrons une caricature dégradée et simpliste de l'intelligence réelle.

Sa prescription en découle directement. N'essayez pas d'intégrer le contenu de la pensée. Intégrez les méta-méthodes capables de trouver cette complexité par elles-mêmes. Comme il le formule, nous voulons des agents d'IA « capables de découvrir comme nous le faisons, et non qui contiennent ce que nous avons découvert ». Donnez au système la capacité de chercher et d'apprendre, puis retirez-vous et laissez l'échelle accomplir le travail que vous n'alliez de toute façon jamais faire à la main.

Pour quiconque se soucie de la connaissance, ce recadrage dépasse l'IA. Il suggère que l'action à plus fort levier n'est pas d'entasser davantage de réponses toutes faites dans votre tête. C'est de bâtir un système qui peut continuer à découvrir. Cette idée rejoint directement la raison pour laquelle la connaissance se cumule comme des intérêts quand vous la configurez pour qu'elle continue de croître.

La preuve moderne : lois d'échelle et auto-apprentissage

Si l'essai de 2019 se lit comme une prophétie, c'est parce que les années qui l'ont immédiatement suivi se sont transformées en une longue confirmation.

En 2020, une équipe dirigée par Jared Kaplan a publié « Scaling Laws for Neural Language Models », montrant que la performance d'un modèle s'améliore selon une loi de puissance régulière à mesure que l'on augmente la taille du modèle, les données et le calcul. Plus grand et plus abondant signifiait systématiquement meilleur, sur des ordres de grandeur. Cet article est devenu le blanc-seing intellectuel de toute la course à l'agrandissement des grands modèles de langage. En 2022, les travaux Chinchilla de DeepMind ont affiné la recette, montrant que de nombreux modèles avaient été sous-entraînés en données par rapport à leur taille, et en rééquilibrant le rapport.

Le fil conducteur de Deep Blue à GPT est la même leçon habillée de neuf. AlphaZero a appris à jouer à un niveau mondial par le seul auto-apprentissage, sans aucun enregistrement de parties humaines, c'est-à-dire la recherche et l'apprentissage à plein volume. Les modèles de langage ont acquis une compétence stupéfiante non pas à partir de règles de grammaire et de raisonnement écrites à la main, mais en prédisant le prochain token à travers un océan de texte sur d'énormes budgets de calcul. Chaque laboratoire ayant misé sur l'échelle plutôt que sur l'ingéniosité, d'OpenAI à DeepMind en passant par Anthropic, appliquait, qu'il l'ait cité ou non, le manuel de Sutton.

Le moteur de cumul sous-jacent à tout cela est la croissance exponentielle du calcul disponible. Tout l'argument de Sutton repose sur l'hypothèse que le calcul continue de devenir moins cher, de sorte que toute méthode capable d'en absorber davantage finit par gagner. C'est un proche cousin des rendements superlinéaires que Paul Graham décrit dans les startups : choisissez la chose qui se cumule, et le temps fait le gros du travail.

Là où la leçon amère riposte

Un bon exposé se doit de dire où l'idée est contestée, car elle l'est. Traiter « The Bitter Lesson » comme parole d'évangile est une erreur en soi.

La réfutation la plus citée est arrivée vite. En mars 2019, le roboticien Rodney Brooks a publié « A Better Lesson ». Son argument : le camp du savoir humain n'est pas réellement mort, il a simplement déménagé. Les réseaux de neurones convolutifs qui ont « gagné » la vision par ordinateur ont une invariance par translation intégrée par des concepteurs humains. Les architectures de modèles, les tokeniseurs et les configurations d'entraînement sont truffés de a priori humains. Nous n'avons pas supprimé l'ingéniosité humaine, soutenait Brooks. Nous l'avons déplacée dans la structure de la machine d'apprentissage et avons cessé de la remarquer. D'autres ont ajouté que la loi de Moore ralentit, de sorte que « ajouter du calcul » n'est pas gratuit pour toujours.

Puis le retournement le plus étrange de tous : Sutton lui-même. En 2025, dans l'essai « Welcome to the Era of Experience » avec David Silver et dans un entretien largement commenté sur le podcast de Dwarkesh Patel en septembre, Sutton a soutenu que les grands modèles de langage d'aujourd'hui ne satisfont pas réellement la leçon amère. Les LLM apprennent en imitant un tas figé de texte humain, ce qu'il a appelé apprendre par mimétisme plutôt qu'apprendre par l'expérience. La véritable intelligence, dans sa vision plus récente, vient d'agents qui apprennent continuellement de leur propre interaction avec le monde, et non de la prédiction du prochain mot humain. Le père de la leçon amère a regardé l'ère des LLM et a dit, en substance, que celle-ci contient encore trop de savoir humain.

La lecture honnête est donc en couches. L'affirmation centrale, selon laquelle la recherche et l'apprentissage passant à l'échelle battent le savoir codé à la main, affiche un palmarès extraordinaire. Mais « quelle méthode passe le mieux à l'échelle » demeure un combat en cours, et la personne qui a écrit l'essai estime que le champion actuel est une étape, pas la destination. Tenir les deux idées à la fois est la marque d'une réelle compréhension, ce genre de pensée par compromis que produit généralement une bonne polyvalence à travers les domaines.

La leçon amère de la prise de notes

Voici maintenant la partie qui ne parle pas du tout d'IA. La leçon amère a une version applicable au savoir personnel, et une fois que vous la voyez, vous ne pouvez plus ne pas la voir.

Regardez comment la plupart des gens essaient de devenir plus intelligents. Ils construisent des systèmes élaborés. Des hiérarchies de dossiers imbriqués. Des taxonomies de balises complexes. Des codes couleur, des modèles, une ontologie parfaite pour indiquer où chaque idée doit vivre. C'est l'approche du savoir humain appliquée à votre propre cerveau. Cela donne l'impression d'être productif. Organiser procure de la satisfaction exactement de la manière dont Sutton met en garde, et cela aide un peu au début. Puis cela atteint un plateau, parce que le système demande plus d'efforts d'entretien qu'il n'en rend jamais, et la plupart des gens l'abandonnent discrètement.

L'alternative extensible reflète la recherche et l'apprentissage. Capturez beaucoup, avec presque aucune structure préalable, et laissez la récupération faire l'organisation plus tard. Au lieu de décider à l'avance où une surbrillance doit aller, sauvegardez tout et comptez sur la recherche en texte intégral et l'IA pour faire remonter la bonne chose au moment où vous en avez besoin. Vous misez sur le volume associé à une bonne récupération plutôt que sur un classement manuel ingénieux. C'est l'écho personnel des « méthodes générales qui tirent parti du calcul ».

Voilà pourquoi une habitude de surlignage bat une habitude de classement. Quand vous utilisez le surligneur web de Glasp pour marquer ce qui compte au fil de votre lecture, ou que vous sauvegardez des résumés de vidéos YouTube et des surbrillances de transcriptions de conférences et de cours, vous construisez le corpus. Le volume est l'objectif. Ensuite, le chat IA de Glasp joue le rôle de la recherche et de l'apprentissage, en vous permettant de poser des questions sur tout ce que vous avez sauvegardé au lieu de vous rappeler manuellement où vit chaque idée. Vous fournissez la méta-méthode, la capture, et vous laissez l'échelle gérer le reste.

Cela recadre aussi un sentiment de culpabilité que la plupart des lecteurs connaissent bien. Un énorme arriéré de contenu sauvegardé mais non lu n'est pas un échec, c'est du calcul brut pour plus tard. Nous en avons exposé toute la logique dans pourquoi sauvegarder maintenant et ne jamais lire vous rend quand même plus intelligent. La leçon amère est d'accord : un grand corpus désordonné associé à une bonne récupération bat un petit corpus parfaitement organisé.

Comment l'appliquer à votre propre apprentissage

L'essai parle de machines, mais les conseils pratiques pour les humains sont étonnamment concrets.

Cessez de sur-optimiser le système. Les heures que vous passez à perfectionner votre système de balises sont la version prise de notes du codage manuel des heuristiques d'échecs. Satisfaisant, et un plateau. Gardez la structure assez légère pour que vous continuiez réellement à l'utiliser.

Réduisez le coût de la capture à presque zéro. Les méthodes extensibles gagnent en partie parce qu'elles sont bon marché à alimenter. Faites de la sauvegarde d'une surbrillance, d'une citation ou d'un résumé un réflexe en un clic, pour que la friction ne vous en dissuade jamais. Un flux de travail de notes intelligentes fonctionne mieux quand la capture est sans effort et que la connexion se fait plus tard.

Investissez dans la récupération, pas dans le classement. Votre levier réside dans votre capacité à retrouver et recombiner ce que vous avez sauvegardé, et non dans la propreté de votre rangement. La recherche, le chat IA sur vos propres notes et un bon maillage battent n'importe quelle arborescence de dossiers.

Misez sur le cumul, pas sur l'achèvement. Vous ne « finirez » jamais d'apprendre un domaine, et la leçon amère dit que vous ne devriez de toute façon pas essayer d'y intégrer une réponse définitive. Construisez l'habitude qui continue de découvrir. Un corpus qui grandit un peu chaque jour franchit discrètement des seuils que vous ne pouvez pas prévoir.

Restez généraliste quant aux méthodes. Le geste le plus profond de la leçon est l'humilité intellectuelle : supposez que votre meilleure intuition actuelle sera dépassée à l'échelle, et concevez en conséquence. Gardez vos entrées larges. L'avantage le plus durable est d'être la personne qui continue d'apprendre, ce qui renvoie au contexte que vous accumulez au fil du temps qui devient votre véritable atout.

Le méta-point est simple. Soyez la méta-méthode. N'essayez pas d'être le système expert achevé, codé à la main. Soyez la chose qui continue de chercher et d'apprendre, et laissez le volume associé à une bonne récupération se cumuler en votre faveur.

Foire aux questions

Qu'est-ce que la leçon amère en termes simples ?

C'est l'observation, tirée de l'essai de Richard Sutton de 2019, selon laquelle, en IA, les approches qui gagnent avec le temps sont celles qui utilisent davantage de calcul par la recherche et l'apprentissage, et non celles qui codent à la main l'expertise humaine dans le système. L'ingéniosité aide à court terme puis atteint un plateau ; l'échelle continue de s'améliorer. Elle est « amère » parce qu'elle signifie que le savoir soigneusement construit par l'expert perd généralement.

Qui est Richard Sutton et pourquoi compte-t-il ?

Richard Sutton est un informaticien largement considéré comme un fondateur de l'apprentissage par renforcement, coauteur du manuel de référence du domaine avec Andrew Barto, et lauréat du prix Turing. Quand il écrit une page sur l'orientation de l'IA, tout le domaine la lit, parce qu'il a contribué à bâtir les méthodes sur lesquelles repose l'essor moderne de l'IA.

La leçon amère est-elle réellement vraie ?

Le schéma historique est solide : les échecs, le go, la reconnaissance vocale et la vision par ordinateur l'ont tous suivi, et les lois d'échelle des modèles de langage l'ont prolongé. Mais elle est débattue. Rodney Brooks a soutenu que le savoir humain s'est simplement déplacé dans les architectures de modèles au lieu de disparaître, et en 2025 Sutton lui-même a soutenu que les grands modèles de langage d'aujourd'hui ne suivent pas pleinement la leçon parce qu'ils imitent le texte humain au lieu d'apprendre par l'expérience réelle.

La leçon amère signifie-t-elle que le savoir humain est inutile ?

Non. Elle signifie que le savoir humain a tendance à perdre en tant que moyen de coder en dur la réponse finale dans un système. Les humains choisissent toujours le problème, conçoivent les méta-méthodes, construisent les configurations d'entraînement et décident quoi mettre à l'échelle. La leçon porte sur l'endroit où placer vos efforts : dans les méthodes extensibles et une bonne structure, et non dans le fait de figer la compréhension d'aujourd'hui dans la machine.

Comment la leçon amère s'applique-t-elle à la prise de notes et à l'apprentissage ?

Elle suggère que les systèmes d'organisation manuelle élaborés se comportent comme de l'expertise codée à la main : satisfaisants au début, puis un fardeau d'entretien qui atteint un plateau. L'alternative extensible consiste à capturer beaucoup avec une structure minimale et à compter sur la recherche et l'IA pour la récupération. Construisez le corpus avec des outils comme un surligneur web et laissez la récupération, pas le classement, faire le travail.

Conclusion : misez sur ce qui se cumule

« The Bitter Lesson » est une page qui explique discrètement une décennie d'IA, et qui se pose comme un avertissement sur la façon dont chacun de nous essaie de devenir plus intelligent. Le geste séduisant consiste toujours à encoder ce que vous savez déjà et à appeler cela un progrès. Le geste durable consiste à construire quelque chose qui continue de chercher et d'apprendre, puis à l'alimenter à l'échelle.

Vous ne pouvez pas dépasser un centre de données en puissance de calcul, mais vous pouvez copier la stratégie. Capturez plus qu'il n'est confortable. Gardez la structure légère. Consacrez votre énergie à la récupération, et laissez un ensemble croissant de surbrillances, de notes et de résumés se cumuler au fil des ans. C'est la version personnelle de tirer parti du calcul, et elle bat un système parfaitement organisé que vous cessez d'utiliser dès le mois de mars.

Commencez à construire votre corpus avec le surligneur web de Glasp et YouTube Summary, puis laissez le chat IA de Glasp chercher et apprendre à travers tout ce que vous avez sauvegardé. Soyez la méta-méthode. Laissez l'échelle faire le reste.