The Bitter Lesson: Rich Suttons KI-Essay erklärt

Der eine Satz hinter dem KI-Boom

Am 13. März 2019 veröffentlichte Richard Sutton einen kurzen Essay auf seiner persönlichen Website. Sutton ist kein Marktschreier. Er ist einer der Begründer des bestärkenden Lernens, Mitautor des Standardlehrbuchs des Fachgebiets und später Träger des Turing Award. Der Essay ist kaum länger als eine Seite. Er hat wohl mehr Milliardenentscheidungen geprägt als jedes Wirtschaftsbuch, das in jenem Jahrzehnt erschienen ist.

Seine Eröffnungszeile ist das gesamte Argument: "The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin."

Lesen Sie das zweimal, denn es ist weniger offensichtlich, als es aussieht. Sutton sagt nicht, dass Rechenleistung hilft. Er sagt, dass sie auf lange Sicht das Einzige ist, was zuverlässig gewinnt, und dass das menschliche Wissen, das wir liebevoll in unsere Systeme einbauen, tendenziell im Weg steht. Die Methoden, die mit reiner Rechenleistung skalieren, schlagen die Methoden, die kodieren, was kluge Menschen bereits herausgefunden haben. Nicht ein bisschen. Mit großem Abstand.

Diese Behauptung klingt fast antiintellektuell. Sie besagt, dass der Fachexperte, die Person, die die besondere Struktur des Problems versteht, meist diejenige ist, die verliert. Und Sutton hat das nicht aus der Theorie hergeleitet. Er hat es aus sechs Jahrzehnten hergeleitet, in denen KI-Forscher denselben Fehler machten, sein Scheitern beobachteten und ihn erneut machten.

Sechzig Jahre, viermal derselbe Fehler

Die Stärke des Essays liegt darin, dass er ein Muster ist, keine Meinung. Sutton geht durch vier Fachgebiete, in denen sich derselbe Film abspielte.

Schach. Jahrzehntelang versuchten Computerschach-Forscher, menschliches Schachverständnis zu kodieren: Eröffnungstheorie, positionelle Heuristiken, die Weisheit von Großmeistern. Dann besiegte 1997 IBMs Deep Blue Weltmeister Garry Kasparov mit massiver, tiefer Suche, indem es Hunderte Millionen Positionen pro Sekunde auswertete. Es "verstand" Schach nicht so, wie ein Großmeister es tut. Es suchte. Die wissensbasierten Ansätze verloren gegen reine Vorausberechnung auf Spezialhardware.

Go. Go sollte anders sein. Das Brett ist viel zu groß für rohe Suche, also war dies sicher das Spiel, in dem menschliche Intuition unverzichtbar bleiben würde. Dann, etwa zwanzig Jahre nach Deep Blue, besiegte DeepMinds AlphaGo im Jahr 2016 Lee Sedol, und sein Nachfolger AlphaZero erlernte übermenschliches Go, Schach und Shogi von Grund auf durch Self-Play, ganz ohne menschliche Partien. Dieselbe Geschichte, dasselbe Ende: Suche plus Lernen schlugen kodiertes menschliches Wissen.

Spracherkennung. In den 1970er Jahren veranstaltete die DARPA einen Wettbewerb zur Spracherkennung. Ein Lager nutzte menschliches Wissen über Wörter, Phoneme und den menschlichen Stimmapparat. Das andere nutzte statistische Methoden und Hidden-Markov-Modelle, die mehr rechneten und weniger über Sprache wussten. Die Statistik gewann. Jahrzehnte später trieb Deep Learning dieselbe Lektion weiter voran, und moderne Sprachsysteme enthalten fast keine handkodierte Linguistik mehr.

Computer Vision. Frühe Vision-Forschung suchte nach Kanten, Ecken und cleveren, von Hand entworfenen Merkmalen wie SIFT. Dann senkte 2012 ein tiefes neuronales Netz namens AlexNet die Fehlerrate auf dem ImageNet-Benchmark in einem einzigen Sprung von rund 26 % auf etwa 16 %, indem es Faltung, GPUs und Daten statt von Menschen entworfener Merkmale nutzte. Die von Hand gefertigte Pipeline, die eine Forschergeneration verfeinert hatte, war innerhalb weniger Jahre verschwunden.

Vier Fachgebiete, vier Gruppen von Experten, ein Ergebnis. Jedes Mal setzten die Menschen, die das Problem am besten verstanden, auf den Ansatz, der verlor.

Warum sie es "bitter" nannten

Hier ist der Teil, den die Leute überspringen. Die Lektion lautet nicht nur "Rechenleistung gewinnt". Sie lautet, dass sich der Sieg schlecht anfühlt und dass dieses schlechte Gefühl kluge Menschen dazu bringt, sich weiter zu wehren.

Als Deep Blue mit Suche gewann, so bemerkt Sutton, war die Reaktion der Schachforscher aus dem Lager des menschlichen Wissens keine Neugier. Sie war eher so etwas wie saure Trauben. Sie hatten ihre Karrieren auf der Idee aufgebaut, dass Schachmeisterschaft ein tiefes positionelles Verständnis erfordere, und eine Maschine, die im Wesentlichen suchte, hatte diese Idee gerade blamiert. In seinen Worten waren sie "not good losers".

Das Muster hat eine emotionale Logik. Das eigene Wissen in ein System einzubauen, ist befriedigend. Es lässt das System heute besser funktionieren, und es gibt Ihnen das Gefühl, die Verbesserung sei aus Ihrer Einsicht gekommen. Diese kurzfristige Belohnung ist real, und genau deshalb ist sie eine Falle. Sie werden jetzt für genau den Schritt belohnt, der später stagniert.

Suttons Zusammenfassung des Kreislaufs sollten Sie sich merken:

• Forscher bauen menschliches Wissen in ihre Systeme ein.
• Es hilft, und es fühlt sich gut an, kurzfristig.
• Mit der Zeit stagniert es und kann weiteren Fortschritt aktiv blockieren.
• Der Durchbruch kommt schließlich aus der entgegengesetzten Richtung: der Skalierung von Rechenleistung durch Suche und Lernen.

Die Lektion ist bitter, weil es nie aufhört, verlockend zu sein, sie zu ignorieren. Jedes neue Fachgebiet tritt in der Überzeugung an, dass diesmal die menschliche Einsicht unverzichtbar sei, dass dieses Problem etwas Besonderes sei. Bislang hat diese Überzeugung eine Verluststatistik.

Suche und Lernen: Die einzigen zwei Dinge, die skalieren

Wenn menschliches Wissen das ist, was stagniert, was ist dann das, was es nicht tut? Sutton nennt genau zwei Dinge: Suche und Lernen.

Beide teilen eine seltene Eigenschaft. Sie werden besser, wenn Sie mehr Rechenleistung auf sie werfen, und sie werden weiter besser. Die Suche erkundet pro Sekunde mehr Möglichkeiten, je besser die Hardware wird. Das Lernen extrahiert mehr Struktur aus mehr Daten, je größer Modelle und Rechenleistung werden. Keines von beiden hängt davon ab, dass ein Mensch die Antwort bereits herausgefunden hat, weshalb keines von beiden auf dieselbe Decke stößt.

Hier wird Suttons Argument philosophisch, und hier lebt seine beste Zeile. Der Grund, mit dem Handkodieren von Wissen aufzuhören, schreibt er, sei, dass "the actual contents of minds are tremendously, irredeemably complex." Die Art, wie wir über Raum, Objekte, andere Akteure und Symmetrie denken, ist weit chaotischer als jede saubere Regel, die wir aufschreiben könnten. Wenn wir also versuchen, unser Verständnis in ein System zu komprimieren, liefern wir eine verlustbehaftete, übervereinfachte Karikatur echter Intelligenz aus.

Seine Empfehlung folgt direkt daraus. Versuchen Sie nicht, die Inhalte des Denkens einzubauen. Bauen Sie die Meta-Methoden ein, die diese Komplexität von selbst finden können. Wie er es formuliert, wollen wir KI-Agenten, "that can discover like we can, not which contain what we have discovered." Geben Sie dem System die Fähigkeit zu suchen und zu lernen, treten Sie dann beiseite und lassen Sie die Skalierung die Arbeit erledigen, die Sie ohnehin nie von Hand erledigt hätten.

Für jeden, dem Wissen am Herzen liegt, ist diese Umdeutung größer als die KI. Sie legt nahe, dass der wirkungsvollste Schritt nicht darin besteht, mehr fertige Antworten in Ihren Kopf zu packen. Er besteht darin, ein System zu bauen, das immer weiter entdecken kann. Diese Idee steht in direktem Zusammenhang damit, warum sich Wissen wie Zinsen verzinst, wenn Sie es so einrichten, dass es weiter wächst.

Der moderne Beweis: Skalierungsgesetze und Self-Play

Der Grund, warum sich der Essay von 2019 wie eine Prophezeiung liest, ist, dass sich die Jahre unmittelbar danach in eine einzige lange Bestätigung verwandelten.

Im Jahr 2020 veröffentlichte ein Team unter der Leitung von Jared Kaplan "Scaling Laws for Neural Language Models" und zeigte, dass sich die Leistung eines Modells als glattes Potenzgesetz verbessert, wenn man Modellgröße, Daten und Rechenleistung erhöht. Größer und mehr bedeutete durchgängig besser, über Größenordnungen hinweg. Dieses Papier wurde zur intellektuellen Lizenz für das gesamte Wettrennen, große Sprachmodelle hochzuskalieren. Im Jahr 2022 verfeinerte DeepMinds Chinchilla-Arbeit das Rezept und zeigte, dass viele Modelle im Verhältnis zu ihrer Größe zu wenig auf Daten trainiert worden waren, und rebalancierte das Verhältnis.

Der rote Faden von Deep Blue bis GPT ist dieselbe Lektion in neuen Kleidern. AlphaZero erlernte Weltklassespiel allein aus Self-Play, ohne dass menschliche Partieaufzeichnungen erforderlich waren, was Suche und Lernen in voller Lautstärke ist. Sprachmodelle erlernten verblüffende Kompetenz nicht aus handgeschriebenen Regeln der Grammatik und des Schlussfolgerns, sondern aus der Vorhersage des nächsten Tokens über einen Ozean von Text mit enormen Rechenbudgets. Jedes Labor, das auf Skalierung statt auf Cleverness setzte, von OpenAI über DeepMind bis Anthropic, folgte, ob es ihn nun zitierte oder nicht, Suttons Spielplan.

Die zugrunde liegende Aufzinsungsmaschine ist das exponentielle Wachstum der verfügbaren Rechenleistung. Suttons gesamtes Argument stützt sich auf die Annahme, dass Rechenleistung immer billiger wird, sodass jede Methode, die mehr davon aufnehmen kann, letztlich gewinnt. Das ist ein naher Verwandter der superlinearen Renditen, die Paul Graham bei Start-ups beschreibt: Wählen Sie das, was sich verzinst, und die Zeit erledigt die Schwerstarbeit.

Wo die Bitter Lesson zurückbeißt

Ein guter Erklärtext muss sagen, wo die Idee umstritten ist, denn das ist sie. "The Bitter Lesson" als Evangelium zu behandeln, ist eine eigene Art von Fehler.

Die meistzitierte Widerlegung kam schnell. Im März 2019 veröffentlichte der Robotiker Rodney Brooks "A Better Lesson". Sein Punkt: Das Lager des menschlichen Wissens ist gar nicht tot, es ist nur umgezogen. Die faltenden neuronalen Netze, die Computer Vision "gewannen", haben eine translatorische Invarianz, die von menschlichen Designern eingebaut wurde. Modellarchitekturen, Tokenizer und Trainingsaufbauten stecken voller menschlicher Vorannahmen. Wir haben die menschliche Cleverness nicht entfernt, argumentierte Brooks. Wir haben sie in die Struktur der lernenden Maschine verlagert und aufgehört, es zu bemerken. Andere fügten hinzu, dass Moores Gesetz sich verlangsamt, sodass "einfach mehr Rechenleistung hinzufügen" nicht für immer kostenlos ist.

Dann die seltsamste Wendung von allen: Sutton selbst. Im Jahr 2025 argumentierte Sutton im Essay "Welcome to the Era of Experience" mit David Silver und in einem vielbeachteten Interview in Dwarkesh Patels Podcast im September jenes Jahres, dass die heutigen großen Sprachmodelle die Bitter Lesson gar nicht erfüllen. LLMs lernen, indem sie einen festen Haufen menschlichen Textes imitieren, was er als Lernen durch Nachahmung statt als Lernen aus Erfahrung bezeichnete. Echte Intelligenz kommt nach seiner neueren Ansicht von Agenten, die kontinuierlich aus ihrer eigenen Interaktion mit der Welt lernen, nicht aus der Vorhersage des nächsten menschlichen Wortes. Der Vater der Bitter Lesson betrachtete das LLM-Zeitalter und sagte im Grunde: Darin steckt immer noch zu viel menschliches Wissen.

Die ehrliche Lesart ist also vielschichtig. Die Kernbehauptung, dass skalierbare Suche und skalierbares Lernen handkodiertes Wissen schlagen, hat eine außergewöhnliche Erfolgsbilanz. Aber "welche Methode am besten skaliert" ist noch ein offener Kampf, und die Person, die den Essay geschrieben hat, hält den derzeitigen Champion für eine Zwischenstation, nicht für das Ziel. Beide Ideen gleichzeitig zu halten, ist das Kennzeichen dafür, es wirklich verstanden zu haben, jene Art von Denken in Abwägungen, die eine gute Bandbreite über Fachgebiete hinweg tendenziell hervorbringt.

Die Bitter Lesson des Notizenmachens

Nun der Teil, der überhaupt nicht von KI handelt. Die Bitter Lesson hat eine Version für persönliches Wissen, und wenn Sie sie einmal gesehen haben, können Sie sie nicht mehr übersehen.

Sehen Sie sich an, wie die meisten Menschen versuchen, klüger zu werden. Sie bauen ausgefeilte Systeme. Verschachtelte Ordnerhierarchien. Verzwickte Tagging-Taxonomien. Farbcodes, Vorlagen, eine perfekte Ontologie dafür, wo jede Idee leben soll. Das ist der Ansatz des menschlichen Wissens, angewandt auf das eigene Gehirn. Es fühlt sich produktiv an. Organisieren ist genau auf die Weise befriedigend, vor der Sutton warnt, und anfangs hilft es ein wenig. Dann stagniert es, weil das System mehr Aufwand für die Pflege erfordert, als es je zurückgibt, und die meisten Menschen geben es stillschweigend auf.

Die skalierbare Alternative spiegelt Suche und Lernen wider. Erfassen Sie viel, mit fast keiner vorab festgelegten Struktur, und lassen Sie die Wiederauffindung die Organisation später erledigen. Statt vorab zu entscheiden, wohin ein Highlight gehört, speichern Sie alles und verlassen sich auf Volltextsuche und KI, um das Richtige zu Tage zu fördern, wenn Sie es brauchen. Sie setzen auf Volumen plus gute Wiederauffindung statt auf cleveres manuelles Ablegen. Das ist das persönliche Echo von "general methods that leverage computation."

Deshalb schlägt eine Highlighting-Gewohnheit eine Ablage-Gewohnheit. Wenn Sie Glasps Web-Highlighter verwenden, um beim Lesen zu markieren, was wichtig ist, oder YouTube-Videozusammenfassungen und Transkript-Highlights aus Vorträgen und Vorlesungen speichern, bauen Sie den Korpus auf. Das Volumen ist der Punkt. Dann spielt Glasps KI-Chat die Rolle von Suche und Lernen und lässt Sie Fragen über alles hinweg stellen, was Sie gespeichert haben, statt sich manuell zu merken, wo jede Idee lebt. Sie liefern die Meta-Methode, das Erfassen, und lassen die Skalierung den Rest erledigen.

Es deutet auch ein Schuldgefühl um, das die meisten Leser gut kennen. Ein riesiger Rückstand an gespeichertem, aber ungelesenem Material ist kein Versagen, es ist Rohrechenleistung für später. Den vollständigen Fall dafür haben wir in warum es Sie klüger macht, jetzt zu speichern und nie zu lesen dargelegt. Die Bitter Lesson stimmt zu: Ein großer, chaotischer Korpus plus gute Wiederauffindung schlägt einen kleinen, perfekt kuratierten.

Wie Sie es auf Ihr eigenes Lernen anwenden

Der Essay handelt von Maschinen, aber der praktische Rat für Menschen ist überraschend konkret.

Hören Sie auf, das System zu übertechnisieren. Die Stunden, die Sie mit dem Perfektionieren Ihres Tagging-Schemas verbringen, sind die Notizen-Version des Handkodierens von Schachheuristiken. Befriedigend, und eine Stagnation. Halten Sie die Struktur leicht genug, damit Sie sie tatsächlich weiter nutzen.

Senken Sie die Kosten des Erfassens auf nahezu null. Skalierbare Methoden gewinnen teils, weil sie billig zu füttern sind. Machen Sie das Speichern eines Highlights, eines Zitats oder einer Zusammenfassung zu einem Ein-Klick-Reflex, damit die Reibung Sie nie davon abbringt. Ein Smart-Notes-Workflow funktioniert am besten, wenn das Erfassen mühelos ist und die Verknüpfung später geschieht.

Investieren Sie in die Wiederauffindung, nicht in die Ablage. Ihr Hebel liegt darin, wie gut Sie das Gespeicherte finden und neu kombinieren können, nicht darin, wie ordentlich Sie es abgelegt haben. Suche, KI-Chat über Ihre eigenen Notizen und gute Verknüpfung schlagen jeden Ordnerbaum.

Setzen Sie auf Verzinsung, nicht auf Fertigwerden. Sie werden das Erlernen eines Fachgebiets nie "abschließen", und die Bitter Lesson sagt, dass Sie ohnehin nicht versuchen sollten, eine endgültige Antwort einzubauen. Bauen Sie die Gewohnheit auf, die weiter entdeckt. Ein Korpus, der jeden Tag ein wenig wächst, überschreitet still Schwellen, die Sie nicht vorhersagen können.

Bleiben Sie ein Generalist, was Methoden angeht. Der tiefste Schritt der Lektion ist intellektuelle Bescheidenheit: Nehmen Sie an, dass Ihre derzeit beste Einsicht überskaliert wird, und gestalten Sie darauf hin. Halten Sie Ihre Eingaben breit. Der beständigste Vorteil ist, die Person zu sein, die weiter lernt, was auf den Kontext, den Sie im Laufe der Zeit ansammeln, zurückführt, der zu Ihrem eigentlichen Vorteil wird.

Der Metapunkt ist einfach. Seien Sie die Meta-Methode. Versuchen Sie nicht, das fertige, handkodierte Expertensystem zu sein. Seien Sie das, was weiter sucht und weiter lernt, und lassen Sie Volumen plus gute Wiederauffindung sich zu Ihren Gunsten verzinsen.

Häufig gestellte Fragen

Was ist die Bitter Lesson einfach ausgedrückt?

Es ist die Beobachtung aus Richard Suttons Essay von 2019, dass in der KI die Ansätze, die mit der Zeit gewinnen, jene sind, die mehr Rechenleistung durch Suche und Lernen nutzen, nicht jene, die menschliche Expertise in das System handkodieren. Cleverness hilft kurzfristig und stagniert dann; Skalierung verbessert sich immer weiter. Sie ist "bitter", weil sie bedeutet, dass das sorgfältig aufgebaute Wissen des Experten meist verliert.

Wer ist Richard Sutton und warum ist er wichtig?

Richard Sutton ist ein Informatiker, der weithin als Begründer des bestärkenden Lernens gilt, Mitautor des Standardlehrbuchs des Fachgebiets mit Andrew Barto und Träger des Turing Award. Wenn er eine Seite über die Richtung der KI schreibt, liest sie das gesamte Fachgebiet, weil er mitgeholfen hat, die Methoden zu bauen, auf die sich der moderne KI-Boom stützt.

Ist die Bitter Lesson tatsächlich wahr?

Das historische Muster ist stark: Schach, Go, Spracherkennung und Computer Vision folgten ihm alle, und die Skalierungsgesetze für Sprachmodelle erweiterten es. Aber es ist umstritten. Rodney Brooks argumentierte, dass menschliches Wissen einfach in die Modellarchitekturen umgezogen sei, statt zu verschwinden, und 2025 argumentierte Sutton selbst, dass die heutigen großen Sprachmodelle der Lektion nicht vollständig folgen, weil sie menschlichen Text imitieren, statt aus echter Erfahrung zu lernen.

Bedeutet die Bitter Lesson, dass menschliches Wissen nutzlos ist?

Nein. Sie bedeutet, dass menschliches Wissen tendenziell verliert, wenn es als Weg dient, die endgültige Antwort fest in ein System zu kodieren. Menschen wählen immer noch das Problem, entwerfen die Meta-Methoden, bauen die Trainingsaufbauten und entscheiden, was skaliert wird. Die Lektion handelt davon, wohin Sie Ihre Anstrengung stecken sollten: in skalierbare Methoden und gute Struktur, nicht in das Einfrieren des heutigen Verständnisses in die Maschine.

Wie lässt sich die Bitter Lesson auf Notizenmachen und Lernen anwenden?

Sie legt nahe, dass ausgefeilte manuelle Organisationssysteme sich wie handkodierte Expertise verhalten: anfangs befriedigend, dann eine Pflegelast, die stagniert. Die skalierbare Alternative besteht darin, mit minimaler Struktur viel zu erfassen und sich bei der Wiederauffindung auf Suche und KI zu verlassen. Bauen Sie den Korpus mit Werkzeugen wie einem Web-Highlighter auf und lassen Sie die Wiederauffindung, nicht die Ablage, die Arbeit erledigen.

Fazit: Setzen Sie auf das, was sich verzinst

"The Bitter Lesson" ist eine Seite, die still ein Jahrzehnt der KI erklärt, und sie landet als Warnung darüber, wie jeder von uns versucht, klüger zu werden. Der verführerische Schritt ist immer, zu kodieren, was Sie bereits wissen, und es Fortschritt zu nennen. Der beständige Schritt ist, etwas zu bauen, das weiter sucht und weiter lernt, und es dann mit Skalierung zu füttern.

Sie können ein Rechenzentrum nicht überrechnen, aber Sie können die Strategie kopieren. Erfassen Sie mehr, als sich ordentlich anfühlt. Halten Sie die Struktur leicht. Stecken Sie Ihre Energie in die Wiederauffindung und lassen Sie einen wachsenden Bestand an Highlights, Notizen und Zusammenfassungen sich über Jahre verzinsen. Das ist die persönliche Version der Nutzung von Rechenleistung, und sie schlägt ein perfekt organisiertes System, das Sie schon im März nicht mehr benutzen.

Beginnen Sie mit dem Aufbau Ihres Korpus mit Glasps Web-Highlighter und YouTube Summary, und lassen Sie dann Glasps KI-Chat über alles suchen und lernen, was Sie gespeichert haben. Seien Sie die Meta-Methode. Lassen Sie die Skalierung den Rest erledigen.