Die Kontextgrößen aktueller Modelle entsprechen dem Stand vom November 2026. Die Strategien selbst sind langlebig.
Schritt 1 von 4Wissen
Jedes LLM hat ein Context Window -- die maximale Menge an Text, die es gleichzeitig "sehen" kann. Alles, was du an das Modell schickst (System-Prompt, Chatverlauf, Dokumente, deine aktuelle Frage) plus die Antwort muss in dieses Fenster passen.
Die Context-Window-Größen haben sich rasant entwickelt:
- 2022: GPT-3.5 hatte 4.096 Tokens (~3.000 Wörter)
- 2023: GPT-4 startete mit 8K Tokens (März 2023), GPT-4 Turbo brachte 128K Tokens (November 2023)
- 2024: Gemini 1.5 Pro erreichte 1M Tokens (~750.000 Wörter)
- 2025/26: 1M Tokens werden Standard bei den Spitzenmodellen — etwa Claude Opus 5.5, Gemini 4 Argon und GPT-6 (ca. 1M)
Doch ein großes Context Window allein löst nicht alle Probleme. Mehr Kontext bedeutet höhere Kosten, längere Antwortzeiten und das Risiko, dass wichtige Informationen in der Mitte "verloren" gehen (das sogenannte Lost in the Middle-Problem).
Schritt 2 von 4Verstehen
Strategie 1: Sliding Window
Beim Sliding-Window-Ansatz behält das Modell nur die letzten N Nachrichten im Kontext. Ältere Nachrichten werden verworfen. Das ist die einfachste Strategie und funktioniert gut für kurze Gespräche.
Vorteil: Günstig, schnell, vorhersagbar. Nachteil: Das Modell "vergisst" frühe Teile des Gesprächs.
Strategie 2: Summarization
Eine intelligentere Variante: Statt alte Nachrichten zu verwerfen, fasst ein LLM sie zusammen. Die Zusammenfassung wird als Kontext beibehalten, während die Originalnachrichten entfernt werden.
Vorteil: Wichtige Informationen bleiben erhalten. Nachteil: Zusammenfassungen können Details verlieren; zusätzliche API-Calls nötig.
Strategie 3: RAG (Retrieval-Augmented Generation)
Statt alles in den Kontext zu packen, holt RAG nur die relevanten Informationen aus einer externen Datenbank. Die Suchanfrage bestimmt, welche Dokumente ins Context Window geladen werden.
Vorteil: Skaliert auf Millionen von Dokumenten; Kontext bleibt fokussiert. Nachteil: Erfordert Infrastruktur (Vector Database, Embedding Pipeline).
Kleine Kontexte (unter 10K Tokens): Sliding Window reicht. Mittlere Kontexte (10K-100K): Summarization hilft. Große Wissensbasen (100K+ Dokumente): RAG ist der richtige Ansatz.
Schritt 3 von 4Anwenden
Stell dir vor, du baust einen Chatbot für den Kundensupport eines Online-Shops. Der Chatbot soll:
- Auf 500 FAQ-Artikel zugreifen können
- Den Chatverlauf mit dem Kunden berücksichtigen
- Schnell und kosteneffizient antworten
Die optimale Lösung kombiniert Strategien: RAG für die FAQ-Artikel (nur relevante laden), Sliding Window für den aktuellen Chatverlauf und optional Summarization für längere Support-Sitzungen.