Chain-of-Thought im Detail

Wissen

Du kennst Chain-of-Thought (CoT) bereits als "Denke Schritt für Schritt". Aber warum funktioniert das eigentlich? Und wie kannst du es systematisch einsetzen, statt nur einen Satz anzuhängen?

Warum CoT funktioniert

LLMs generieren Token für Token -- jedes neue Wort basiert auf allen vorherigen. Wenn ein LLM direkt eine Antwort gibt, muss es den gesamten Denkprozess in einem einzigen "Sprung" ausführen. Bei komplexen Problemen führt das zu Fehlern.

Chain-of-Thought löst dieses Problem, indem es das Modell zwingt, Zwischenschritte explizit zu formulieren. Jeder geschriebene Zwischenschritt wird Teil des Kontexts für den nächsten Schritt. Das Modell kann buchstäblich auf seiner eigenen Arbeit aufbauen.

Analogie: Stell dir vor, du sollst im Kopf 347 x 23 rechnen. Schwierig, oder? Aber mit Papier und Zwischenschritten (347 x 20 = 6940, 347 x 3 = 1041, Summe = 7981) ist es trivial. Genau das machst du mit CoT -- du gibst dem LLM "Papier".

Varianten von Chain-of-Thought

Zero-Shot CoT: Du fügst einfach "Denke Schritt für Schritt" oder "Lass uns das logisch durchgehen" an. Das funktioniert überraschend gut für viele Aufgaben.

Few-Shot CoT: Du gibst Beispiele, die den gewünschten Denkprozess zeigen -- nicht nur die Antwort, sondern auch die Zwischenschritte.

Beispiel:

Frage: Ein Laden hat 12 Äpfel. 5 werden verkauft, dann kommen 8 neue.
Denkprozess:
- Start: 12 Äpfel
- Nach Verkauf: 12 - 5 = 7 Äpfel
- Nach Lieferung: 7 + 8 = 15 Äpfel
Antwort: 15 Äpfel

Frage: Ein Bus hat 23 Passagiere. An der ersten Haltestelle steigen 7 aus und 4 ein.
An der zweiten Haltestelle steigen 3 aus und 9 ein. Wie viele sind im Bus?

Das LLM wird den gleichen schrittweisen Ansatz auf die neue Frage anwenden.

Verstehen

Self-Consistency: Mehrere Denkpfade, eine Antwort

Ein einzelner CoT-Pfad kann falsch sein. Self-Consistency löst das Problem: Du lässt das LLM mehrmals unabhängig denken und nimmst die Mehrheitsentscheidung.

So funktioniert es:

1. Stelle die gleiche Frage mehrfach (z.B. 5 Mal) mit höherer Temperature (0.7-0.9)
2. Jede Antwort hat einen eigenen Denkpfad
3. Vergleiche die finalen Antworten
4. Die Antwort, die am häufigsten vorkommt, ist wahrscheinlich korrekt

Beispiel: "Hat ein Kilogramm Stahl oder ein Kilogramm Federn mehr Gewicht?"

• Pfad 1: "Stahl ist schwerer als Federn... also wiegt Stahl mehr." -> Stahl (falsch)
• Pfad 2: "Ein Kilogramm ist ein Kilogramm, egal welches Material." -> Gleich (richtig)
• Pfad 3: "Beide wiegen ein Kilogramm. Die Frage ist ein Trick." -> Gleich (richtig)

Mehrheitsentscheidung: Gleich (2 von 3) -- korrekt.

Wann CoT einsetzen -- und wann nicht

CoT ist besonders nützlich bei:

• Mathematischen Problemen und logischen Rätseln
• Mehrstufigen Entscheidungen
• Aufgaben, die Planung erfordern
• Analyse und Argumentation

CoT ist weniger nützlich bei:

• Einfachen Faktenabfragen ("Was ist die Hauptstadt von Frankreich?")
• Kreativen Aufgaben wie Gedichte oder Stories
• Übersetzungen
• Einfachen Klassifizierungen

Anwenden

Baue eine eigene Prompt-Kette: Zerlege ein komplexes Problem in Schritte, die aufeinander aufbauen.

Reflektieren

Chain-of-Thought ist keine Magie -- es ist ein Werkzeug. Die Kunst liegt darin, zu erkennen, wann du es brauchst und welche Variante (Zero-Shot CoT, Few-Shot CoT, Self-Consistency) für dein spezifisches Problem am besten geeignet ist. Im nächsten Abschnitt lernst du weitere fortgeschrittene Techniken, die du mit CoT kombinieren kannst.