TL;DR
Ein großes Sprachmodell tut genau eine Sache: Aus einem gegebenen Text sagt es das nächste Textstück voraus, immer wieder. Alles andere, die flüssigen Antworten, der Code, der unheimlich gute Rat und der selbstbewusste Unsinn, folgt aus diesem einen Mechanismus, der in enormem Maßstab läuft. Diese Erklärung baut das mentale Modell ohne Mathematik: was ein Token ist, was das Training tatsächlich verändert, warum das Modell keine Datenbank zum Nachschlagen hat und warum “es hat sich das ausgedacht” kein Fehler ist, sondern derselbe Prozess, der seine beste Arbeit erzeugt, gerichtet auf eine Frage, die es nicht beantworten kann. Verstehen Sie den Mechanismus, und Sie hören auf, sich über das Modell zu wundern, und beginnen, es zu steuern. Lernen Sie wie ein Student, der wissen will, wie der Motor funktioniert, nutzen Sie es wie ein CEO, der weiß, worauf beim Werkzeug Verlass ist und worauf nicht.
Hunderte Millionen Menschen tippen heute täglich in ein KI-Modell und könnten Ihnen nicht einmal grob sagen, was nach dem Drücken der Eingabetaste passiert. Das ist kein Mangel an Intelligenz. Niemand hat es erklärt. Das Ergebnis ist eine Belegschaft, die einen Vorhersager des nächsten Wortes wie eine Suchmaschine, ein Orakel oder eine Person behandelt und sich dann verraten fühlt, wenn es sich wie keines davon verhält.
Den Mechanismus zu verstehen wird schnell zur Grundkompetenz, nicht zur Spezialistenfähigkeit. Da immer mehr Arbeit durch diese Werkzeuge läuft, holen nicht diejenigen am meisten heraus, die die cleversten Prompts kennen. Es sind die mit einem zutreffenden mentalen Modell dessen, was unter der Haube passiert, denn dieses Modell sagt ihnen, worauf sie vertrauen, was sie prüfen und wie sie fragen sollen. Den weiteren Fall haben wir in Prompt Engineering reicht nicht gemacht. Dieser Beitrag baut das Fundament darunter.
Das eine, was ein LLM tut
Hier ist der ganze Motor in einem Satz: Ein großes Sprachmodell nimmt den Text, den Sie ihm geben, und sagt wiederholt das plausibelste nächste Textstück voraus.
Das ist keine Vereinfachung dessen, was es tut. Es ist, was es tut. Sie tippen eine Frage; das Modell liest sie und sagt ein wahrscheinliches erstes Wort einer Antwort voraus. Dann liest es Ihre Frage plus dieses erste Wort und sagt das zweite voraus. Dann das dritte. Es schreibt, wie Sie den Satz eines anderen zu Ende bringen könnten, nur dass es nie aufhört zu beenden, jeweils in einem kleinen Schritt, bis die Antwort vollständig ist.
Die Einheit, die es vorhersagt, ist nicht genau ein Wort. Es ist ein Token, ein Textstück, das oft ein ganzes Wort ist, aber auch ein Teil davon, ein Satzzeichen oder ein häufiges Wortfragment sein kann. “Understanding” mag ein Token sein oder in “Understand” und “ing” zerfallen. Deshalb verzählen sich Modelle manchmal bei den Buchstaben eines Wortes oder stolpern über Wortspiele: Sie sehen Buchstaben nicht so wie Sie. Sie sehen Tokens.
Alles Beeindruckende an diesen Systemen ist diese eine Schleife, die in einem kaum vorstellbaren Maßstab läuft. Und alles Frustrierende an ihnen ist dieselbe Schleife, die über den Rand dessen hinausläuft, was sie zuverlässig weiß.
Was das “Training” tatsächlich verändert hat
Wenn das Modell nur das nächste Token vorhersagt, woher kommt sein scheinbares Wissen? Aus dem Training, und das ist der Teil, den man richtig verstehen sollte.
Ein Modell ist mechanisch eine riesige Menge von Zahlen, genannt Parameter, oft Milliarden davon. Vor dem Training sind diese Zahlen im Wesentlichen zufällig, und die Vorhersagen des Modells sind Kauderwelsch. Training ist der Prozess, dem Modell eine enorme Menge Text zu zeigen und jedes Mal, wenn es ein nächstes Token vorhersagt, diese Milliarden Zahlen leicht zu verschieben, sodass die Vorhersage beim nächsten Mal etwas näher an dem liegt, was im echten Text tatsächlich folgte.
Tun Sie das über eine riesige Scheibe des geschriebenen Internets, Bücher und Code, billionenfach, und etwas Bemerkenswertes geschieht. Um in jedem Text gut im Vorhersagen des nächsten Tokens zu werden, ist das Modell gezwungen, Muster zu kodieren: Grammatik, Fakten, Stile, Denkschritte, den Aufbau einer Rechtsklausel, den Rhythmus eines Gedichts. Niemand programmiert diese hinein. Sie sind der statistische Rückstand der Vorhersage im großen Maßstab. Die Architektur, die dies praktisch machte, heißt Transformer, eingeführt im Forschungspapier “Attention Is All You Need” von 2017, dessen Kernidee, die Aufmerksamkeit, das Modell abwägen lässt, welche früheren Wörter für die Vorhersage des nächsten am wichtigsten sind.
Entscheidend ist: Wenn das Training endet, frieren die Zahlen ein. Das Modell lernt nicht aus Ihren Gesprächen weiter und hat kein Gedächtnis an gestern, sofern das umgebende System es nicht zurückspeist. Was es weiß, ist in diese eingefrorenen Parameter eingebrannt, weshalb jedes Modell einen Wissensstichtag hat und Ihnen nicht sagen kann, was heute Morgen geschah.
Der Maßstab dieses Prozesses klettert in einem Tempo, das man an einem Ort sehen sollte.
Tabelle 1. Die Entwicklung der Technologie (geprüfte Daten)
| Maß | Befund | Quelle |
|---|---|---|
| Trainings-Rechenleistung | Verdoppelt sich etwa alle 5 Monate | Stanford HAI AI Index 2025 |
| Größe des Trainingsdatensatzes | Verdoppelt sich etwa alle 8 Monate | Stanford HAI AI Index 2025 |
| Kosten der Abfrage eines Modells auf GPT-3.5-Niveau | Fiel von $20 auf $0,07 pro Million Tokens (Nov 2022 bis Okt 2024) | Stanford HAI AI Index 2025 |
| Anteil bemerkenswerter Modelle aus der Industrie, 2024 | ~90% (von ~60% in 2023) | Stanford HAI AI Index 2025 |
Die mittlere Zeile hat die Welt still verändert: ein Rückgang der Kosten für die Ausgabe eines fähigen Modells um mehr als das 280-Fache in unter zwei Jahren ist der Grund, warum die Technologie von der Demo zum Versorgungsgut wurde.
Warum es nichts “nachschlägt”
Nun das Nützlichste zum Verstehen, denn es erklärt das Verhalten, das alle stolpern lässt.
Ein LLM hat keine Datenbank in sich. Wenn Sie eine Sachfrage stellen, durchsucht es keine Datensätze und liefert keinen Treffer. Es tut das Einzige, was es tut: die plausibelste Fortsetzung Ihrer Frage vorherzusagen, basierend auf den in seine Parameter eingebrannten Mustern. Ist die Antwort in seinem Trainingstext häufig, decken sich Vorhersage und Wahrheit wunderbar, und es scheint die Tatsache zu “wissen”. Ist die Antwort selten, mehrdeutig oder abwesend, hält das Modell nicht inne und sagt “kein Ergebnis”. Es kann nicht. Es sagt trotzdem eine plausibel klingende Fortsetzung voraus, denn das ist seine ganze Aufgabe.
Das ist eine Halluzination. Es ist keine Fehlfunktion des Modells. Es ist das Modell, das genau wie entworfen arbeitet, flüssigen, selbstbewussten Text erzeugt, gerichtet auf eine Lücke, in der der selbstbewusste Text zufällig falsch ist. Die Flüssigkeit ist identisch, ob der Inhalt wahr oder erfunden ist, weshalb Sie es am Ton nicht erkennen können. Ein nützliches mentales Modell: Das LLM ist kein Bibliothekar, der ein Buch holt. Es ist ein außerordentlich belesener Improvisator, der Ihnen stets eine glatte Antwort gibt und kein eingebautes Signal für den Unterschied zwischen Erinnern und Erfinden hat.
Das erklärt zwei weitere Alltagsverhalten. Das Sampling ist der Grund, warum Sie auf denselben Prompt zweimal eine andere Antwort erhalten: Das Modell wählt nicht immer das eine wahrscheinlichste nächste Token; es zieht eine Stichprobe aus den wahrscheinlichen, was es kreativ statt roboterhaft wirken lässt. Und das Kontextfenster ist die Textmenge, Ihr Prompt plus das bisherige Gespräch, die das Modell auf einmal beachten kann. Geht es darüber hinaus, fallen die frühesten Teile einfach aus dem Blick, weshalb sehr lange Chats zu “vergessen” scheinen, was Sie am Anfang sagten.
Das funktionierende mentale Modell
Fügt man die Teile zusammen, erhält man ein Modell, das leicht zu tragen ist und die Nutzung des Werkzeugs verändert.
Tabelle 2. Ein funktionierendes mentales Modell eines LLM (CEOtudent-Redaktionsrahmen)
| Wenn Sie es sich vorstellen als… | Erwarten Sie… | Und liegen falsch, weil… |
|---|---|---|
| Eine Suchmaschine | Abgerufene, belegte Fakten | Es erzeugt plausiblen Text, es ruft keine Datensätze ab |
| Eine Person, die Sie versteht | Gedächtnis, Absicht, Verantwortung | Es hat kein Gedächtnis zwischen Sitzungen und kein Wahrheitsmodell |
| Ein Taschenrechner für Wörter | Deterministische, wiederholbare Ausgabe | Es zieht Stichproben, derselbe Prompt kann anders antworten |
| Ein belesener Improvisator | Flüssige Hilfe, die geprüft werden muss | Das ist ungefähr richtig |
Das Improvisator-Modell zahlt sich in drei praktischen Zügen aus. Erstens: Geben Sie ihm das Material. Weil es aus dem vorhersagt, was vor ihm liegt, schlägt das Einfügen des relevanten Dokuments, der Daten oder des Kontexts in den Prompt das Vertrauen auf sein eingefrorenes Gedächtnis; deshalb ist eine KI gut zu briefen eine eigene Fähigkeit, die wir in Wie man an einen KI-Agenten delegiert aufgeschlüsselt haben. Zweitens: Prüfen Sie alles, was zählt. Flüssigkeit ist kein Beweis. Für jede Tatsachenbehauptung, jeden Namen, jede Zahl oder Quelle, auf die Sie handeln, ist das Modell ein zu prüfender Entwurf, keine zu vertrauende Quelle. Drittens: Nutzen Sie es, wo Plausibilität genügt. Entwerfen, Brainstorming, Umstrukturieren, Erklären und Übersetzen sind Aufgaben, bei denen eine starke plausible Antwort wirklich wertvoll ist; hochriskante Fakten und irreversible Entscheidungen sind es nicht.
Nichts davon erfordert die Mathematik. Es erfordert den Mechanismus: eine Schleife, die das nächste Token vorhersagt, aus zum Trainingszeitpunkt eingefrorenen Mustern, ohne Nachschlagen und ohne eingebauten Sinn für wahr. Halten Sie das, und das Modell ist weder Magie noch Bedrohung, sondern was es ist: ein mächtiges Werkzeug, dessen Grenzen so erkennbar sind wie seine Stärken. Dieses Wissen ist selbst die dauerhafte Fähigkeit, denn die Werkzeuge werden sich weiter ändern und der Mechanismus nicht, ein Punkt, den wir in Das Manager-of-AI-Playbook entwickeln.
FAQ
Denkt oder argumentiert das Modell wirklich?
Es erzeugt oft Text, der wie Argumentation aussieht, und “reasoning”-Modelle erzeugen Zwischenschritte, die ihre Antworten bei harten Problemen wirklich verbessern. Aber mechanisch sagt es weiter Tokens voraus; die argumentationsförmige Ausgabe ist eine sehr ausgefeilte Version desselben Prozesses, keine eigene Fähigkeit. Behandeln Sie sichtbare Argumentation als hilfreich und dennoch prüfbar, nicht als Beweis.
Lernt es aus meinen Gesprächen?
Das Kernmodell nicht, dessen Parameter nach dem Training eingefroren sind. Manche Produkte speisen Ihre jüngsten Nachrichten oder gespeicherten Präferenzen in den Prompt zurück, um Gedächtnis zu simulieren, aber das ist das umgebende System, nicht das Modell, das sich selbst aktualisiert. Ihr Chat trainiert es nicht neu.
Warum ist es so selbstbewusst, wenn es falsch liegt?
Weil Selbstbewusstsein und Korrektheit in seiner Ausgabe unabhängig sind. Das Modell erzeugt die flüssigste Fortsetzung, unabhängig davon, ob der zugrunde liegende Inhalt zutrifft, und flüssiger Text liest sich selbstbewusst. Es gibt kein eingebautes “ich bin unsicher”-Signal an einer halluzinierten Tatsache, weshalb die externe Prüfung an Ihnen liegt.
Wenn es nur Text vorhersagt, warum ist es so gut?
Weil das nächste Token gut vorherzusagen, über im Wesentlichen das gesamte geschriebene menschliche Wissen, sich als Erfordernis erweist, eine staunenswerte Menge an Struktur über Sprache, Fakten und Argumentation zu kodieren. Die Einfachheit der Aufgabe und der Reichtum des Ergebnisses sind die ganze Überraschung des Felds. Den Rest tat der Maßstab, wie Tabelle 1 zeigt.
Muss ich das verstehen, um KI gut zu nutzen?
Sie brauchen nicht die Technik. Sie brauchen das mentale Modell, denn es sagt Ihnen, wann Sie der Ausgabe vertrauen und wann Sie prüfen sollen. Menschen mit einem zutreffenden Modell des Mechanismus holen durchweg mehr Wert heraus und machen weniger kostspielige Fehler als solche, die das Werkzeug als Geist oder Suchmaschine behandeln.
Quellen: Vaswani et al., “Attention Is All You Need,” 2017; Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report 2025; grundlegende Literatur des maschinellen Lernens zu Transformer-Sprachmodellen und neuronalem Netztraining.
Dieser Inhalt wurde nach eingehender Recherche mit Unterstützung von KI zusammengestellt und vom CEOtudent-Redaktionsteam geschrieben und für die Veröffentlichung aufbereitet.
This post is also available in:
