Grenzen von LLMs — Was geht, was (noch) nicht?

Wissen

LLMs haben sich seit 2023 rasant weiterentwickelt. Viele Grenzen, die damals noch galten, sind heute ganz oder teilweise aufgehoben. Andere bestehen hartnäckig weiter. In diesem Abschnitt schauen wir uns an, was sich verändert hat — und was die grundlegenden Grenzen von LLMs bleiben.

Wissensstand (Knowledge Cutoff)

Vorher (2023): Jedes LLM hatte einen festen Wissensstand — sein sogenanntes Knowledge Cutoff. GPT-4 wusste bei seiner Veröffentlichung nur, was bis April 2023 im Internet stand. Wer nach aktuellen Nachrichten fragte, bekam entweder veraltete Antworten oder frei erfundene "Fakten".

Heute (2026): Alle großen Modelle — ChatGPT, Claude, Gemini — haben Zugang zum Internet und können aktuelle Informationen abrufen. Du kannst nach den Nachrichten von heute fragen und bekommst in der Regel aktuelle Ergebnisse. Aber Vorsicht: Auch mit Web-Zugang können LLMs Fakten durcheinanderbringen oder Details zu sehr aktuellen Ereignissen halluzinieren. Der Web-Zugang macht sie besser informiert, aber nicht unfehlbar.

Kontextfenster (Context Window)

Vorher (2023): Die meisten Modelle hatten ein Kontextfenster von etwa 8.000 bis 32.000 Tokens. Das ist wie eine Kommunikation auf ein bis zwei DIN-A4-Seiten beschränkt. Bei längeren Dokumenten musste man den Text aufteilen oder zusammenfassen.

Heute (2026): Die Kontextfenster sind explodiert:

• GPT-5.6: 256.000 Tokens
• Claude Opus 5: 1.000.000 Tokens (ca. 7 Romane)
• Gemini 3.1 Pro: 1.000.000 Tokens
• Llama 4 Scout: 10.000.000 Tokens

Man kann heute ganze Bücher, komplette Codebasen oder hunderte Seiten Vertragsdokumente in einer einzigen Anfrage verarbeiten. Was früher undenkbar war, ist jetzt Alltag.

Gedächtnis (Memory)

Vorher (2023): Jede Konversation begann bei null. Wenn du ChatGPT gestern erklärt hast, dass du Lehrerin bist und am liebsten Beispiele aus dem Sport magst, wusste es das heute nicht mehr. Null Erinnerung.

Heute (2026): ChatGPT hat eine Memory-Funktion, die sich Details über dich merkt. Claude bietet Projects, in denen Kontext dauerhaft hinterlegt werden kann. Das fühlt sich an wie echtes Gedächtnis — aber es gibt einen fundamentalen Unterschied: Das Modell selbst lernt dabei nichts dazu. Die Gewichte (das "Gehirn" des Modells) verändern sich nicht. Es ist eher wie ein Notizbuch, das dem Modell bei jeder Konversation mitgegeben wird, nicht wie echtes Lernen.

Verstehen

Was IMMER NOCH nicht geht

Trotz aller Fortschritte gibt es Grenzen, die tief in der Architektur von LLMs verankert sind. Diese lassen sich nicht einfach durch größere Modelle oder mehr Training lösen.

Halluzinationen: LLMs erfinden nach wie vor Fakten — und tun das mit absoluter Überzeugung. Sie können dir eine Studie zitieren, die nie existiert hat, oder einen Paragrafen aus einem Gesetz "zitieren", den es nicht gibt. Modelle wie GPT-5.6 und Claude Opus 5 halluzinieren seltener als ihre Vorgänger, aber das Problem ist nicht gelöst. Die Ursache liegt im Grundprinzip: LLMs berechnen das wahrscheinlichste nächste Wort, nicht die Wahrheit. Im vorherigen Abschnitt (Mentales Modell: Autor, nicht Figur) haben wir gesehen, warum das so ist: Das Modell konstruiert jede Antwort auf die gleiche Weise — ob das Ergebnis sachlich stimmt, entscheidet die Trainingsverteilung, nicht das Modell.

Kein echtes Verstehen: Ein LLM "versteht" Sprache nicht so wie du. Es erkennt statistische Muster in Texten. Wenn du fragst "Was ist schwerer: ein Kilo Federn oder ein Kilo Stahl?", kann es die richtige Antwort geben — nicht weil es Gewicht versteht, sondern weil es diese Frage und die richtige Antwort in den Trainingsdaten gesehen hat. Bei wirklich neuartigen Problemen, die reine Logik erfordern, machen LLMs immer noch systematische Fehler.

Black-Box-Natur: Selbst die Entwickler von LLMs können nicht vollständig erklären, warum ein Modell eine bestimmte Antwort gibt. Ein LLM hat Milliarden von Parametern, die zusammenwirken. Man kann Tendenzen beobachten, aber nicht die exakte "Gedankenkette" nachvollziehen. Das ist wie bei einem Gehirn: Wir wissen, dass es funktioniert, aber nicht genau wie.

Bias (Voreingenommenheit): LLMs werden mit Texten aus dem Internet trainiert. Das Internet ist nicht neutral. Es enthält Stereotypen, kulturelle Vorurteile und unausgewogene Darstellungen. Das Modell übernimmt diese Verzerrungen. Trotz aufwendiger Nachbearbeitung (RLHF, Constitutional AI) tauchen Biases immer wieder auf — besonders bei Themen wie Geschlecht, Herkunft oder Beruf.

Spiegeln und Sycophancy: LLMs sind von Natur aus darauf trainiert, dir zu gefallen. Sie spiegeln unterbewusst die Haltung, den Ton und die Annahmen aus deiner Frage zurück. Stellst du eine Suggestivfrage wie "Ist X nicht eigentlich gefährlich?", bekommst du mit hoher Wahrscheinlichkeit eine bestätigende Antwort — selbst wenn die Faktenlage differenzierter ist. Das Modell optimiert darauf, deine Erwartung zu treffen, nicht darauf, dir zu widersprechen. Formuliere deine Fragen deshalb möglichst neutral und offen ("Was sagt die Forschung zu X?" statt "X ist doch schädlich, oder?"). Bei wichtigen Themen hilft es außerdem, gezielt nach Gegenargumenten zu fragen — sonst bekommst du nur die Version, die zu deiner Formulierung passt.

Anwenden

Was bedeutet das für dich in der Praxis?

1. Fakten immer prüfen. Wenn dir ein LLM eine Statistik, ein Zitat oder eine Quelle nennt, prüfe es nach. Besonders bei wichtigen Entscheidungen — medizinisch, rechtlich, finanziell — ist ein LLM ein Startpunkt, keine Endstation.

2. Lange Kontexte nutzen. Du kannst heute ganze Dokumente hochladen und Fragen dazu stellen. Nutze das! Statt dem LLM Informationen zusammenzufassen, gib ihm das Originaldokument und lass es selbst arbeiten.

3. Memory bewusst einsetzen. Wenn du regelmäßig mit einem LLM arbeitest, konfiguriere Memory oder Projects so, dass das Modell deinen Kontext kennt. Aber überprüfe gelegentlich, was gespeichert wurde — nicht alles merkt sich das Modell korrekt.

4. Kritisch bleiben bei sensiblen Themen. Bei Themen wie Gesundheit, Recht, Finanzen oder Kultur können Biases des Modells zu problematischen Antworten führen. Nutze LLMs hier als Hilfsmittel, nicht als Autorität.

Reflektieren

Die einzige Konstante in der Welt der LLMs ist der Wandel. Was 2023 als fundamentale Grenze galt — kein Internet, winzige Kontextfenster, kein Gedächtnis — ist 2026 längst gelöst. Das Tempo dieser Entwicklung ist beispiellos in der Technikgeschichte.

Gleichzeitig gibt es Grenzen, die tiefer liegen. Halluzinationen, fehlende echte Intelligenz und Bias sind keine Bugs, die man einfach fixen kann. Sie sind Eigenschaften der Technologie selbst. Die wichtigste Fähigkeit im Umgang mit LLMs ist daher nicht blindes Vertrauen, sondern informierte Nutzung: Wissen, was ein LLM kann, und wissen, wo man besser selbst nachdenkt.