Reinforcement Learning mit Bechern und Chips
Eine lernende Maschine, die man anfassen kann.
Neun Becher auf dem Tisch
In Schulungen zu künstlicher Intelligenz gibt es einen Moment, den wir sehr mögen. Wir stellen neun Becher auf den Tisch, legen ein paar Chips daneben und sagen, dass in dieser Anordnung gleich eine Maschine lernen wird, ein Spiel zu gewinnen. Niemand glaubt das zunächst. Becher sind nun einmal keine Rechner, und Chips sehen nicht nach maschinellem Lernen aus.
Eine gute halbe Stunde später gewinnt die Becheranordnung jede Partie, und zwar gegen jeden im Raum.
Die Idee, dieses Spiel in unsere Schulungen einzubauen, stammt von meinem Kollegen Carsten Feldmann. Seitdem gehört es bei uns zum festen Repertoire.
Was auf dem Tisch steht, ist dabei kein Modell von Reinforcement Learning. Es ist Reinforcement Learning, nur ohne Computer. Deshalb eignet sich die Übung so gut als Einstieg: Man kann die Lernschritte anfassen, während man sie erklärt.
In diesem Beitrag beschreibe ich die Übung so, dass man sie nachbauen kann. Danach zeige ich, was passiert, wenn man dasselbe Verfahren als Simulation laufen lässt, und vergleiche es mit Q-Learning, dem Lehrbuchverfahren für dieselbe Aufgabe.
Das Spiel
Gespielt wird NIM, genauer eine Misère-Variante mit einem Haufen. Auf dem Tisch liegen zehn Gegenstände, bei uns sind es Steinchen, es funktionieren aber auch Streichhölzer, Büroklammern oder Gummibärchen. Zwei Parteien nehmen abwechselnd ein, zwei oder drei Steinchen weg. Wer das letzte Steinchen nehmen muss, hat verloren.
NIM hat als eines der ersten Spiele überhaupt eine vollständige mathematische Theorie bekommen (Bouton 1901). Für die Schulung ist aber vor allem die Größe wichtig: Das Spiel ist klein genug, dass eine Partie in einer Minute vorbei ist, und groß genug, dass man die Strategie nicht sofort sieht.
Warum 1, 5 und 9 verlorene Stellungen sind
Die Strategie lässt sich in einem Satz zusammenfassen. Offensichtlich ist sie deswegen nicht, und für die Schulung ist das ein Vorteil. Man findet sie, indem man vom Spielende her rückwärts denkt.
Wer bei einem verbleibenden Steinchen am Zug ist, hat verloren. Er muss es nehmen, eine Alternative gibt es nicht.
Wer bei zwei, drei oder vier Steinchen am Zug ist, hat dagegen gewonnen: Er kann seinem Gegenüber genau ein Steinchen übrig lassen, und dieses Gegenüber ist damit in der eben beschriebenen Verluststellung.
Interessant wird es bei fünf Steinchen. Nimmt man eines, bleiben vier. Nimmt man zwei, bleiben drei. Nimmt man drei, bleiben zwei. In allen drei Fällen hinterlässt man eine Stellung, aus der das Gegenüber gewinnt. Es gibt hier also keinen guten Zug, und fünf ist damit ebenfalls verloren.
Von sechs, sieben oder acht Steinchen aus kann man wiederum die Fünf hinterlassen und gewinnt deshalb. Bei neun geht auch das nicht mehr: Übrig bleiben acht, sieben oder sechs, und aus allen dreien gewinnt das Gegenüber.
So entsteht das Muster. Verloren hat, wer bei 1, 5 oder 9 Steinchen am Zug ist, also bei einem Vielfachen von vier plus eins. Der Abstand von vier hat einen einfachen Grund: Man kann jeden gegnerischen Zug zu vier ergänzen. Nimmt das Gegenüber ein Steinchen, nimmt man drei; nimmt es zwei, nimmt man zwei; nimmt es drei, nimmt man eines. Pro Runde verschwinden dann immer genau vier Steinchen, und wer einmal eine dieser Zahlen hinterlassen hat, hinterlässt sie auch danach wieder.
Weil die Maschine bei uns immer anfängt und bei zehn Steinchen startet, kann sie theoretisch jedes Spiel gewinnen: Sie nimmt ein Steinchen, hinterlässt neun, dann fünf, dann eins.
Sie weiß davon zu Beginn nur nichts.
Die Maschine
Für jede Zahl von Steinchen, bei der die Maschine am Zug sein kann, steht ein Becher auf dem Tisch. Beschriftet sind sie mit 2 bis 10. Einen Becher für ein einzelnes Steinchen braucht man nicht, denn dann ist der Zug erzwungen und es gibt nichts zu entscheiden.
In jedem Becher liegen Chips mit den Zahlen 1, 2 und 3, also je ein Chip für jeden möglichen Zug. Im Becher mit der 2 liegen nur die Chips 1 und 2, weil man von zwei Steinchen keine drei nehmen kann.
Das Spiel läuft dann so ab: Eine oder mehrere Personen spielen gegen die Maschine, eine weitere Person bedient sie. Bedienen heißt, dass sie deren Züge ausführt, ohne selbst nachzudenken. Ist die Maschine am Zug, greift sie in den Becher mit der aktuellen Zahl an Steinchen, zieht blind einen Chip und nimmt so viele Steinchen, wie darauf steht. Der gezogene Chip bleibt vor dem Becher liegen, bis die Partie vorbei ist.
Material: neun Becher (beschriftet mit 2 bis 10), pro Becher Chips mit den Zahlen 1, 2 und 3 (im Becher 2 nur die Chips 1 und 2), zehn Steinchen.
Ablauf: Die Maschine beginnt jede Partie. Ist sie am Zug, wird blind ein Chip aus dem Becher mit der Zahl der noch liegenden Steinchen gezogen; es werden so viele Steinchen genommen, wie auf dem Chip steht. Der Chip bleibt vor seinem Becher liegen. Dann zieht der Mensch. Wer das letzte Steinchen nehmen muss, verliert. Liegt nur noch ein Steinchen und die Maschine ist am Zug, gibt es nichts zu ziehen: Sie muss es nehmen und hat verloren.
Nach der Partie:
- Die Maschine hat gewonnen: Alle ausliegenden Chips wandern zurück in ihre Becher. Es ändert sich nichts.
- Die Maschine hat verloren: Der Chip des letzten Zuges wird aussortiert und kommt endgültig weg. Alle anderen Chips kommen zurück.
- Sonderfall: Liegt im betroffenen Becher nur noch dieser eine Chip, bleibt er im Spiel und kommt zurück. Aussortiert wird dann der Chip des vorherigen Zuges. Falls auch dessen Becher nur einen Chip hat, geht man einen Zug weiter zurück.
Ende: Gespielt wird, bis in jedem Becher nur noch ein Chip liegt. In der Simulation dauert das gegen einen perfekt spielenden Gegner 41 Partien und gegen einen zufällig ziehenden knapp 100; menschliche Gegner liegen dazwischen.
Diese Sonderfallregel ist der eigentliche Trick, und wir betonen sie in der Schulung ausdrücklich. Wenn ein Becher nur noch einen Chip enthält, hat die Maschine dort keine Wahl mehr. Sie kann also auch nichts falsch gemacht haben. Die Schuld muss dann bei einem früheren Zug liegen, und dorthin wandert auch die Bestrafung.
Was hier mechanisch als „einen Becher weiter zurückgehen” formuliert ist, ist mathematisch eine Rückwärtsinduktion. Die Maschine lernt zuerst die Endstellungen, und sobald die stehen, arbeitet sich die Schuldzuweisung Schritt für Schritt Richtung Spielanfang vor. Ausrechnen muss das niemand; die Regel erzwingt es von allein.
Was im Raum passiert
Die ersten Partien verliert die Maschine fast alle, und das ist der wichtigste Teil der Übung. Die Teilnehmenden gewinnen mühelos und sind entsprechend entspannt. Wer eine Maschine erwartet hat, die von Anfang an überlegen ist, sieht stattdessen zu, wie neun Becher planlos Steinchen wegnehmen.
Nach einigen Partien ändert sich das Bild. Die Maschine trifft die kritischen Stellungen häufiger, und irgendwann gewinnt sie zum ersten Mal. Am ersten Sieg selbst liegt der Fortschritt allerdings nicht. Gewinnt die Maschine, wandern alle Chips zurück in die Becher, und ihr Zustand ist hinterher exakt derselbe wie vorher. Sie lernt ausschließlich aus Niederlagen: Jede verlorene Partie kostet sie genau einen Chip, jede gewonnene kostet sie nichts. Der Fortschritt steckt also vollständig in den Niederlagen. Je besser die Maschine spielt, desto seltener lernt sie noch etwas dazu.
Die Person, die die Maschine bedient, bemerkt die Veränderung oft als Erste, weil sie sieht, wie leer die Becher werden. Sie führt die Züge aus, ohne selbst zu entscheiden, sie ist also die Hand der Maschine. Trotzdem redet man nach zwanzig Partien über die Becher, als hätten sie einen Plan. Dahinter steckt aber nur das Aussortieren von Chips. Wie schnell wir Software Absichten zuschreiben, lässt sich an dieser Stelle gut diskutieren.
Das ist bereits Reinforcement Learning
An dieser Stelle lohnt es sich, das Vokabular einzuführen, weil jeder Begriff auf etwas zeigt, das sichtbar auf dem Tisch liegt.
Beim Reinforcement Learning lernt ein Agent durch Interaktion mit einer Umwelt (Sutton und Barto 2018). Der Agent ist hier die Becheranordnung, die Umwelt sind das Spiel und der menschliche Gegner. Die Umwelt befindet sich jederzeit in einem Zustand, bei uns ist das die Anzahl der noch liegenden Steinchen. Zu jedem Zustand gehört genau ein Becher. Der Agent wählt eine Aktion, also einen Chip, und erhält am Ende der Partie eine Belohnung: gewonnen oder verloren.
Die Menge aller Becher mit ihren Chips ist die Strategie des Agenten, im Fachjargon die Policy. Sie steht nirgendwo geschrieben, sie besteht schlicht aus dem aktuellen Inhalt der Becher. Lernen heißt bei diesem Verfahren, diesen Inhalt zu verändern.
Zwei Probleme, die in jedem Lehrbuch zum Thema stehen, kann man an der Übung direkt zeigen.
Das erste ist die Schuldzuweisung, das Credit-Assignment-Problem. Am Ende einer verlorenen Partie weiß man nur, dass etwas schiefgegangen ist, aber nicht, welcher der drei oder vier Züge schuld war. Der letzte Zug ist der offensichtliche Verdächtige, doch der eigentliche Fehler kann viel früher passiert sein. Unsere Sonderfallregel ist die Antwort darauf, und sie ist bemerkenswert treffsicher: Beim NIM ist der letzte Zug einer verlorenen Partie beweisbar ein Fehler, und wenn dieser Becher nur noch einen Chip enthält, war beweisbar der Zug davor schuld.
Das zweite ist der Konflikt zwischen Ausprobieren und Ausnutzen, Exploration und Exploitation. Solange viele Chips im Becher liegen, probiert die Maschine zwangsläufig herum. Je leerer die Becher werden, desto stärker nutzt sie aus, was sie schon weiß. Bei diesem Verfahren regelt sich das von selbst, weil beides an derselben Sache hängt, nämlich an der Zahl der Chips.
Neu ist die Idee übrigens nicht. Donald Michie baute 1961 aus 304 Streichholzschachteln und farbigen Perlen eine Maschine, die Tic-Tac-Toe lernte, und nannte sie MENACE, Matchbox Educable Noughts And Crosses Engine (Michie 1963). Unser Becherspiel ist eine abgespeckte Variante davon: weniger Zustände, weniger Perlen, dieselbe Idee. Wer Michies Original nachbauen möchte, findet dafür ausführliche Anleitungen (Child 2016) und eine Online-Version zum Mitspielen (Scroggs 2016).
Wie schnell lernt das Ding?
In der Schulung spielen wir bis zum Ende, aber niemand zählt dabei mit. Für diesen Beitrag habe ich das Verfahren deshalb in R nachgebaut und animiert. Abbildung 1 zeigt einen kompletten Trainingsverlauf gegen einen perfekt spielenden Gegner. Links läuft das Spielbrett, unten die Gewinnrate, rechts sieht man die Becher: Chips, die noch im Becher liegen, sind blau, aussortierte blass.
Das Ergebnis hat mich beim ersten Durchlauf selbst überrascht: Die Maschine verliert genau 15-mal, danach nie wieder. Die letzte Niederlage passiert in Partie 41, ab Partie 42 gewinnt sie jedes Spiel.
Die 15 ergibt sich direkt aus der Zahl der schlechten Chips im System. In den sieben Bechern, aus denen heraus die Maschine gewinnen kann, liegen anfangs 20 Chips, von denen nur sieben richtig sind; 13 müssen also weg. Dazu kommen zwei aus dem Becher mit der 5, macht zusammen 15. Weil jede Niederlage garantiert genau einen schlechten Chip entfernt, ist danach Schluss. Man kann die Lerndauer dieser Maschine also vorher ausrechnen, was man von Lernverfahren selten sagen kann.
Zwei Becher verhalten sich am Ende auffällig, und beide Fälle sind lehrreich.
Im Becher mit der 5 bleibt ein zufälliger Chip übrig, nicht der „richtige”. Das ist korrekt so, denn 5 ist eine Verluststellung: Aus fünf Steinchen führt kein Zug zum Sieg, alle drei Chips sind gleich schlecht. Die Maschine lernt hier nichts, weil es nichts zu lernen gibt. Sobald sie gut spielt, gerät sie ohnehin nie wieder in diese Lage.
Der Becher mit der 9 bleibt komplett voll, es wurde nie ein Chip daraus entfernt. Der Grund liegt im Spielaufbau: Die Maschine beginnt bei zehn Steinchen und nimmt mindestens eines, danach nimmt der Gegner mindestens eines. Sie kann also gar nicht bei neun Steinchen am Zug sein. Ein Becher, den man nie benutzt, lernt auch nichts. In der Schulung ist das ein guter Moment, um über Trainingsdaten zu sprechen: Ein Modell lernt nur über Situationen, die tatsächlich vorkommen.
Der Gegner entscheidet mit
Interessant wird es, wenn man den Gegner austauscht. Abbildung 2 zeigt dieselbe Maschine mit denselben Regeln, aber gegen einen Gegner, der einfach zufällig zieht:
Wieder genau 15 Niederlagen, das ändert sich nicht. Aber sie brauchen viel länger: Die letzte kommt erst in Partie 98, mehr als doppelt so spät wie vorher.
Der Grund folgt direkt daraus, dass die Maschine nur aus Niederlagen lernt. Gegen einen schwachen Gegner gewinnt sie auch mit schlechten Chips oft genug, weil der Gegner den Fehler schlicht nicht bestraft. Die schlechten Chips bleiben dadurch länger im Becher.
Der starke Gegner ist also der bessere Lehrer. Wer nur gegen schwache Gegner spielt, lernt langsamer, obwohl er häufiger gewinnt. Diese Beobachtung lässt sich in Schulungen gut auf die Frage übertragen, warum man Modelle an schwierigen und nicht an bequemen Fällen testet.
Q-Learning: dieselbe Idee, andere Buchführung
In Lehrbüchern und Software-Bibliotheken sieht Reinforcement Learning anders aus als neun Becher auf einem Tisch. Das bekannteste Verfahren heißt Q-Learning. Es beruht auf derselben Grundidee wie unser Becherspiel, führt aber Buch über seine Erfahrungen, statt Chips auszusortieren.
Statt Chips in Bechern verwaltet Q-Learning eine Tabelle. Für jede Kombination aus Zustand und Aktion, also für jeden Becher und jeden Chip darin, steht dort eine Zahl: die Bewertung dieses Zuges in dieser Stellung. Man kann sich denselben Becherkasten vorstellen, in dem die Chips liegen bleiben und stattdessen jeder Chip eine Note trägt.
Bei unserem Spiel liegen diese Bewertungen zwischen −1 und +1, weil es nur zwei mögliche Ausgänge gibt. Ein Wert nahe +1 heißt „dieser Zug führt aus dieser Stellung zum Sieg”, ein Wert nahe −1 heißt das Gegenteil, und 0 heißt „keine Ahnung”. Zu Beginn stehen alle Bewertungen auf 0.
Damit sind zwei Fragen zu klären, die beim Becherspiel noch zusammenfielen: Wie wählt die Maschine einen Zug, und wie ändert sie anschließend ihre Bewertungen? Im Becher erledigte die Zahl der Chips beides gleichzeitig, denn wer blind greift, zieht seltene Chips eben seltener. Eine Tabelle voller Zahlen zieht sich dagegen nicht von selbst.
Die Zugwahl. Wer immer den bestbewerteten Zug spielt, probiert nie etwas Neues und bleibt bei dem hängen, was zufällig zuerst gut aussah. Deshalb mischt man Zufall bei. Üblich ist \(\varepsilon\)-greedy: Mit der Wahrscheinlichkeit \(\varepsilon\) zieht die Maschine zufällig, mit der Wahrscheinlichkeit \(1-\varepsilon\) den aktuell bestbewerteten Zug. Zu Beginn liegt \(\varepsilon\) nahe 1, die Maschine würfelt also praktisch nur. Im Lauf des Trainings wird \(\varepsilon\) kleiner, und sie verlässt sich zunehmend auf das Gelernte; in unserer Simulation sinkt es von Partie zu Partie um 1,5 Prozent.
Das Lernen. Nach jedem Zug wird dessen Bewertung ein Stück in Richtung dessen korrigiert, was tatsächlich eingetreten ist: nach oben, wenn der Zug zum Sieg beigetragen hat, nach unten, wenn er in die Niederlage geführt hat. Die Vorschrift dafür ist die zentrale Formel des Verfahrens:
\[ Q(s,a) \;\leftarrow\; Q(s,a) \;+\; \alpha \bigl[\, r + \gamma \max_{a'} Q(s',a') - Q(s,a) \,\bigr] \]
Was die einzelnen Symbole bedeuten:
- \(s\) ist der Zustand, bei uns die Zahl der liegenden Steinchen. Das ist der Becher.
- \(a\) ist die gewählte Aktion, also wie viele Steinchen genommen werden. Das ist der Chip.
- \(Q(s,a)\) ist die Bewertung dieses Zuges in dieser Stellung, die Zahl zwischen −1 und +1 von eben. Der Pfeil bedeutet, dass sie durch den Ausdruck rechts ersetzt wird.
- \(r\) ist die Belohnung unmittelbar nach dem Zug: +1, wenn die Partie damit gewonnen ist, −1, wenn sie verloren ist, und 0, wenn sie weitergeht. Beim NIM ist \(r\) also fast immer 0, denn Punkte gibt es nur am Spielende.
- \(s'\) ist die Folgestellung, in der die Maschine nach der Antwort des Gegners wieder am Zug ist, und \(a'\) steht für die dort möglichen Züge. \(\max_{a'} Q(s',a')\) ist damit die Bewertung des besten Zuges, den sie in dieser Folgestellung kennt.
- \(\alpha\) ist die Lernrate, in unserer Simulation 0,3. Sie legt fest, wie stark eine einzelne Partie die Bewertung verschiebt. Bei \(\alpha = 1\) würde die Maschine die letzte Erfahrung für die ganze Wahrheit halten, bei \(\alpha = 0\) würde sie gar nichts lernen.
- \(\gamma\) ist der Diskontfaktor, bei uns 1. Er legt fest, wie stark eine späte Belohnung zählt. Mit \(\gamma = 1\) ist ein Sieg in fünf Zügen genauso viel wert wie ein Sieg sofort; kleinere Werte machen die Maschine ungeduldig.
Der Ausdruck in der eckigen Klammer ist die Überraschung: die Differenz zwischen dem, was sich nach diesem Zug tatsächlich abzeichnet, nämlich \(r + \gamma \max_{a'} Q(s',a')\), und dem, was die Maschine vorher erwartet hatte, nämlich \(Q(s,a)\). War der Zug besser als gedacht, ist die Klammer positiv und die Bewertung steigt. War er schlechter, sinkt sie. Weil dabei die Bewertung der Folgestellung in die Bewertung der aktuellen Stellung einfließt, sickert die Information vom Spielende Partie für Partie ein Stück weiter nach vorne.
Auffällig ist, dass \(\varepsilon\) in dieser Formel nirgends vorkommt, obwohl es das Verhalten der Maschine sichtbar steuert. Der Grund steckt im Term \(\max_{a'} Q(s',a')\): Er schaut immer auf den besten Zug der Folgestellung, ganz gleich, welchen Zug die Maschine dort später wirklich spielen wird. Sie bewertet also durchgehend das perfekte Spiel, während sie selbst noch herumprobiert. Im Fachjargon heißt das off-policy: Gelernt wird über eine andere Strategie als die, nach der gehandelt wird. \(\varepsilon\) bestimmt deshalb nur, welche Stellungen überhaupt vorkommen und welche Einträge dadurch aktualisiert werden. Auf die Rechnung selbst wirkt es sich nicht aus.
Man kann die Erkundung durchaus in die Formel holen, bekommt dann aber ein anderes Verfahren. Bei SARSA steht an der Stelle des Maximums die Bewertung des Zuges, den die Maschine anschließend tatsächlich spielt, gegebenenfalls also ein gewürfelter (Sutton und Barto 2018). Sie bewertet damit ihr wirkliches, noch unfertiges Verhalten statt des perfekten Spiels. Beim NIM ändert das wenig. Wo Fehler teuer sind, ändert es viel: Wer einkalkuliert, dass er gelegentlich würfelt, hält von sich aus mehr Sicherheitsabstand zu brenzligen Stellungen.
Abbildung 3 zeigt das für dasselbe Spiel gegen denselben perfekten Gegner. Rechts steht jetzt statt der Becher die Q-Tabelle als Heatmap; blau bedeutet „guter Zug”, rot „schlechter Zug”:
Der Unterschied ist erheblich. Gegen denselben Gegner verliert das Becherspiel 15 Partien, Q-Learning verliert 98. Das Becherspiel ist nach 41 Partien fertig, Q-Learning braucht 306.
Q-Learning ist deswegen kein schlechteres Verfahren. Es weiß nur weniger. Drei Gründe zusammen erklären den Abstand:
- Keine eingebaute Schuldzuweisung. Unsere Becherregel weiß, dass der letzte Zug schuld ist, und wenn nicht der, dann der davor. Q-Learning weiß das nicht. Es muss die Schuld statistisch über viele Partien verteilen, und die Information wandert dabei pro Partie nur eine Stufe Richtung Spielanfang.
- Kein hartes Aussortieren. Der Becher wirft einen schlechten Chip endgültig raus. Q-Learning verschiebt nur eine Bewertung, und zwar um den Bruchteil \(\alpha\). Ein schlechter Zug bleibt deshalb so lange wählbar, bis seine Bewertung deutlich genug gesunken ist.
- Absichtliches Herumprobieren. Ein guter Teil der 306 Partien geht auf die eingeplante Exploration zurück. Selbst wenn die Tabelle längst stimmt, würfelt die Maschine wegen \(\varepsilon\) gelegentlich noch und verliert dadurch.
Warum dann überhaupt Q-Learning?
Wenn das Becherverfahren so viel schneller ist, könnte man fragen, warum sich irgendjemand mit dem anderen abgibt. Die Antwort ist, dass unsere Becherregel etwas voraussetzt, das es fast nirgendwo gibt.
Sie funktioniert nur, weil beim NIM der letzte Zug einer verlorenen Partie garantiert ein Fehler war. Diese Garantie erlaubt es, hart auszusortieren. In den meisten realen Problemen gibt es sie nicht. Sobald Zufall im Spiel ist, etwa beim Backgammon, in der Logistik oder bei einer Preisentscheidung, kann derselbe Zug einmal zum Erfolg und einmal zum Misserfolg führen. Wer dann nach einer einzigen Niederlage endgültig aussortiert, wirft ständig gute Optionen weg.
Genau dafür ist Q-Learning gebaut. Es mittelt über viele Erfahrungen, statt einzelne Ergebnisse für bare Münze zu nehmen. Es kommt mit unsicheren Belohnungen zurecht, mit Zuständen, die man nur selten sieht, und in seinen modernen Varianten mit Zustandsräumen, für die man niemals genug Becher aufstellen könnte. Robustheit gegen Rauschen kostet Geschwindigkeit, und in unserem sehr sauberen kleinen Spiel bezahlt man diesen Preis, ohne etwas dafür zu bekommen.
Die beiden Verfahren stehen damit an zwei Enden derselben Skala: Wie viel Vorwissen steckt in der Lernregel, und wie viel muss das Verfahren selbst herausfinden? In unserer Becherregel steckt bereits ein gutes Stück Spieltheorie, das jemand beim Entwerfen der Regel hineingelegt hat. Q-Learning enthält davon nichts und ist genau deshalb überall einsetzbar.
Fazit
Wir mögen diese Übung, weil sie ohne Metapher auskommt. Man muss nicht sagen, dass maschinelles Lernen „so ähnlich funktioniert wie”. Auf dem Tisch steht eine Maschine, die aus Erfahrung lernt, und man kann ihr dabei zusehen.
Aus den Schulungen nehmen wir vor allem drei Dinge mit. Erstens: Der Moment, in dem die Maschine zum ersten Mal gewinnt, erklärt mehr über Reinforcement Learning als jede Folie mit einem Zustandsdiagramm. Zweitens: Dass die Maschine ausschließlich aus Niederlagen lernt, führt fast von allein zu der Frage, woher die Rückmeldung eigentlich kommt und wer sie festlegt. Im Spiel ist das offensichtlich, im Unternehmen selten. Und drittens: Der Becher mit der 9, den nie jemand anfasst, ist der beste Aufhänger für das Thema Trainingsdaten, den wir kennen. Über Situationen, die nicht vorkommen, lernt eine Maschine nichts.
Am Ende heißt es Aufräumen. Neun Becher, ein paar Chips, zehn Steinchen und einige Dutzend Partien. Deutlich weniger Aufwand als die 304 Streichholzschachteln, mit denen Donald Michie angefangen hat.