Folge
Warum schreibt eine KI in Sekunden ein Gedicht, kann sich aber bei den R in „Erdbeere“ verzählen? Was liest so ein Sprachmodell eigentlich, wenn du ihm eine Frage stellst? Und warum klingt es auch dann überzeugt, wenn es sich etwas ausdenkt?
40 Aussagen, 39 Quellen. Stand der Recherche: 4. Oktober 2026.
Hier steht jede Tatsachenaussage aus dem Video, mit den Quellen, auf die sie sich stützt. Jede Aussage im Video ist mit diesen Quellen belegt. Die Seiten haben wir beim Abruf gesichert. Die Archiv-Kopien im Internet Archive zeigen, was dort zu dem Zeitpunkt stand, auch wenn sich die Seite später ändert.
Nicht alles ist gleich gut belegt. Das sagen wir im Video offen, und hier steht es an jeder Aussage:
Fehler gefunden? Schreib es in die Kommentare unter dem Video oder an hi@kadeemy.de. Korrekturen pinnen wir dort oben an.
0:35 Belegt
„Die Modelle werden jedes Jahr besser. Der Kern, um den es hier geht, steckt aber auch in den neuesten noch.“
Einordnung: S04 (Anthropic, 2025) und S23 (Google) beschreiben aktuelle Modelle allgemein. Für GPT-6 und Claude Opus 5.5 im Einzelnen gibt es keine Architektur-Veröffentlichung; abgerechnet werden beide weiter je Token. „Jedes Jahr besser“ zeigt die eigene Messung (GPT-4o mini gegen GPT-5.4 mini und die Nachmessung).
„Aber das Modell liest keine Buchstaben und auch keine Wörter. Es liest Tokens.“
0:56 Belegt
„Ein Token ist ein Stück Text.“
0:58 Eigene Messung
„Häufige Wörter wie und, die oder Himmel sind meist ein einziges Token. Seltene und lange Wörter werden zerlegt. Aus Kühlschrank werden zwei Stücke, aus Unwahrscheinlichkeit drei.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
„So zerlegt der echte Tokenizer, den OpenAI für GPT-4o und neuere Modelle verwendet …“
1:19 Eigene Messung
„… diese Wörter mitten im Satz. Allein getippt zerfallen manche anders.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
1:27 Eigene Messung
„Jedes Token hat eine feste Nummer, wie ein Fach in einem riesigen Setzkasten. Das Vokabular dieses Tokenizers hat knapp zweihunderttausend Einträge.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
1:44 Belegt
„Übrigens ist Deutsch dabei im Nachteil.“
1:46 Eigene Messung
„Der erste Artikel der Menschenrechtserklärung hat auf Englisch dreißig Wörter und wird zu dreiunddreißig Tokens. Die deutsche Fassung hat nur sechsundzwanzig Wörter, braucht aber achtunddreißig Tokens. Wörter wie Würde oder Brüderlichkeit werden zerstückelt.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
2:00 Belegt
„Ein eigenes Token bekommt vor allem, was in den Texten häufig vorkommt, aus denen der Tokenizer gebaut wurde.“
2:06 Belegt
„Bei vielen Tokenizern ist Englisch darin stärker vertreten.“
2:18 Belegt
„Im Grunde nur eins: Es berechnet, welches Token als Nächstes kommen sollte.“
2:47 Belegt
„Meistens ein sehr wahrscheinliches, aber nicht immer das wahrscheinlichste.“
3:20 Belegt
„Forscher der Firma Anthropic haben 2025 in eines ihrer Modelle hineingeschaut. Beim Reimen legt es sich schon vorher auf das Reimwort fest.“
Einordnung: Befund des Herstellers über das eigene Modell (Claude 3.5 Haiku), technischer Bericht S30. Die Presse (S05, S06, S31) erschien am Tag der Veröffentlichung; MIT Technology Review (S31) holt Stimmen von Forschern ein, die nicht beteiligt waren. Unabhängig nachgeprüft ist der Befund damit nicht. Das Skript nennt Anthropic als Absender.
3:29 Belegt
„Schreiben kann es trotzdem nur so: ein Token nach dem anderen, ohne zurückzugehen.“
Einordnung: Gilt für die üblichen (autoregressiven) Sprachmodelle, auf denen heutige Chat-Assistenten beruhen. Experimentelle Diffusionsmodelle wie Gemini Diffusion erzeugen ganze Blöcke und korrigieren unterwegs (S40).
3:36 Belegt
„Damit aus einem Textvervollständiger ein hilfreicher Assistent wird, trainieren die Firmen ihre Modelle danach noch weiter, mit Beispielgesprächen und mit Bewertungen von Menschen.“
4:03 Eigene Messung
„Für GPT-4o sind es mitten im Satz drei Tokens: Erd, be und ere. Steht das Wort in Anführungszeichen, sogar vier.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
„Das muss es sich nebenbei aus den Trainingstexten erschließen.“
4:25 Eigene Messung auch bei 0:12
„Für dieses Video wurde das gemessen: drei Modelle, jedes zehnmal gefragt. Das ältere GPT-4o mini lag dreimal falsch, ein kleines Llama-Modell fünfmal.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
4:35 Eigene Messung
„Das neuere GPT-5.4 mini, das vor der Antwort erst Zwischenschritte macht, lag zehnmal richtig. Nachgetestet wurden auch die aktuellen Spitzenmodelle GPT-6 Astra und Claude Opus 5.5. Auch sie lagen immer richtig.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
4:55 Eigene Messung
„Für GPT-4o ist das ganze Wort im Satz ein einziges Token.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
4:59 Belegt
„2024 wurde die Frage berühmt, weil große Modelle wie GPT-4o behaupteten, strawberry habe zwei R.“
5:07 Eigene Messung
„Im Test zählte GPT-4o mini hier trotzdem zehnmal richtig.“
Einordnung: Ein Token macht das Zählen schwer, aber nicht unmöglich: GPT-4o mini lag bei strawberry (ein Token) 10 von 10 richtig, bei Erdbeere (vier Stücke im Prompt) nur 7 von 10. Einen Grund für die 10 von 10 nennt die Folge bewusst nicht, dafür gibt es keinen Beleg.
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
5:11 Eigene Messung
„Das kleine Llama-Modell sagte neunmal von zehn: zwei.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
5:19 Eigene Messung
„Der Tokenizer von GPT-4o hat für jede Zahl von null bis neunhundertneunundneunzig ein eigenes Token. Längere Zahlen zerlegt er in Dreiergruppen, von links gezählt. Aus eintausendzweihundertvierunddreißig wird hundertdreiundzwanzig und vier.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 4. Oktober 2026. Die Messung lässt sich jederzeit wiederholen.
5:54 Eigene Erfahrung auch bei 6:12, 6:20
„Genau darüber ist Michael gestolpert, der diesen Kanal macht. Zum Lernen hat er ein kleines eigenes Sprachmodell trainiert. Es heißt maggie und kann kaum chatten. Sein Tokenizer zerlegte 1234 in 12 und 34, und 567 in 5 und 67.“
Keine externe Quelle: Michael erzählt das aus eigener Erfahrung. Ein Einzelfall, kein Messwert.
6:29 Belegt
„Andere Modelle zerlegen Zahlen gleich in einzelne Ziffern, zum Beispiel Googles Gemma und die ersten Llama-Modelle von Meta.“
6:36 Belegt
„Und Forscher haben gezeigt: Schon die Richtung, in der Ziffern gruppiert werden, verändert, wie gut ein Modell rechnet.“
6:45 Eigene Messung
„Eine kleine Aufgabe wie 25 plus 38 lösen trotzdem alle drei Modelle zuverlässig, im Test zehn von zehn Mal. Aber zwei vierstellige Zahlen malnehmen, ohne Zwischenschritte? GPT-4o mini: null von zehn richtig. Das kleine Llama-Modell: ebenfalls null.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
7:11 Eigene Messung
„Die ersten beiden Ziffern stimmen, die letzten beiden auch. Nur die Mitte liegt daneben. Eins ist dabei kein Zufall: Bei neunzehn von zwanzig falschen Antworten im Test stimmte die letzte Ziffer.“
Einordnung: Das gezeigte Beispiel ist das ordentlichste: Stellenzahl, erste zwei und letzte zwei stimmen zugleich nur bei 4 von 20 falschen Antworten (daten/endziffern.txt: Stellenzahl 17/20, erste zwei 14/20, bei Llama 4/10, letzte zwei 7/20). „Kein Zufall“ gilt nur für die letzte Ziffer (19 von 20). Die letzte Ziffer eines Produkts folgt allein aus den Endziffern der Faktoren (kleines Einmaleins), zwei der zehn Aufgaben enden auf Nullen.
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
7:25 Belegt
„Lernen große Modelle das Rechnen also einfach auswendig? Die Forscher von Anthropic haben auch das nachgesehen. Eher nicht. Beim Addieren laufen in ihrem Modell zwei Wege gleichzeitig. Einer schätzt grob, wie groß das Ergebnis wird. Der andere bestimmt genau die letzte Ziffer. Zusammen ergibt das die Antwort.“
Einordnung: Befund des Herstellers über das eigene Modell (technischer Bericht S30, Zusammenfassung S04). MIT Technology Review (S31) beschreibt den Rechenweg eigenständig am Beispiel 36 + 59 und holt Stimmen nicht beteiligter Forscher ein; unabhängig nachgeprüft ist der Befund nicht. Das Skript nennt Anthropic als Absender.
7:44 Belegt
„Fragt man das Modell danach, wie es gerechnet hat, beschreibt es übrigens brav den Schulweg mit Übertrag.“
Einordnung: Befund des Herstellers über das eigene Modell, siehe F35.
7:49 Eigene Messung
„Ob GPT-4o mini und Llama genauso rechnen, lässt sich von außen nicht sehen. Ihre falschen Antworten im Test passen aber dazu: Die Länge stimmt meist, die letzte Ziffer fast immer. Auf den ersten Blick sehen sie oft richtig aus.“
Einordnung: Deutung der eigenen Messung, keine Untersuchung des Innenlebens; das Skript sagt das selbst („lässt sich von außen nicht sehen“). „Meist“ und „fast immer“: Stellenzahl 17 von 20, letzte Ziffer 19 von 20 (daten/endziffern.txt). „Oft richtig“ gilt vor allem für GPT-4o mini (erste zwei Ziffern 10 von 10); bei Llama weichen die ersten zwei Ziffern in 6 von 10 Antworten ab (z. B. 88.041.437 statt 68.931.927).
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
8:16 Eigene Erfahrung
„Michaels Übungsmodell maggie hat genau das auch getan. Es bekam den Satzanfang: Die Berliner Mauer fiel. Und es schrieb: 1961.“
Keine externe Quelle: Michael erzählt das aus eigener Erfahrung. Ein Einzelfall, kein Messwert.
8:26 Belegt
„Das ist das Jahr, in dem die Mauer gebaut wurde.“
8:39 Belegt
„Ob es die Antwort wirklich weiß, ist dabei nicht eingebaut. Das muss ihm erst antrainiert werden, und das klappt nicht immer.“
8:51 Belegt
„Forscher von OpenAI haben 2025 beschrieben, dass das Training das sogar belohnt.“
9:07 Belegt
„Wie teuer das werden kann, zeigte 2023 ein Fall in New York. Anwälte reichten bei Gericht einen Schriftsatz ein, der sich auf frühere Urteile stützte. Sechs dieser Urteile hatte ChatGPT erfunden, samt Aktenzeichen und Zitaten. Das Gericht verhängte eine Strafe von fünftausend Dollar.“
9:47 Belegt
„Sie schreiben Zwischenschritte auf oder geben die Rechnung an ein Werkzeug ab, ein kleines Programm, das wirklich rechnet.“
Einordnung: Herstellerangaben von OpenAI (S43) und Anthropic (S44), zwei verschiedene Herausgeber. Ob ein Assistent das Werkzeug im Einzelfall nutzt, hängt von Produkt und Einstellung ab; darum „oft“ im Satz davor.
9:56 Eigene Messung
„Im Test haben GPT-5.4 mini, GPT-6 Astra und Claude Opus 5.5 so alle Aufgaben richtig gelöst, auch die Multiplikationen.“
Keine externe Quelle: Das haben wir selbst nachgemessen, am 29. September 2026.
