Fine-Tuning & Custom Models
Du hast im Fortgeschritten-Pfad gelernt, wie du mit Prompt Engineering und RAG das Maximum aus vortrainierten Modellen herausholst. Aber was tust du, wenn das nicht reicht? Wenn dein Modell eine spezifische Fachsprache beherrschen muss, die kein Prompt abdecken kann? Wenn Latenz und Kosten eines RAG-Systems zu hoch sind?
Hier kommt Fine-Tuning ins Spiel -- die dritte Säule der LLM-Anpassung.
Die drei Säulen der LLM-Anpassung
Prompt Engineering passt das Verhalten eines Modells zur Laufzeit an. Du gibst Anweisungen, Beispiele und Kontext mit. Das Modell selbst bleibt unverändert.
Retrieval-Augmented Generation (RAG) erweitert das Wissen des Modells durch externe Datenquellen. Das Modell bleibt unverändert, bekommt aber zur Laufzeit relevante Dokumente als Kontext.
Fine-Tuning verändert das Modell selbst. Du trainierst es mit eigenen Daten, sodass es neues Verhalten, Wissen oder Stil internalisiert. Das Ergebnis ist ein angepasstes Modell, das ohne zusätzlichen Kontext die gewünschten Antworten gibt.
Wann welcher Ansatz?
| Kriterium | Prompt Engineering | RAG | Fine-Tuning |
|---|---|---|---|
| Modell-Änderung | Keine | Keine | Gewichte angepasst |
| Wissen aktualisierbar | Sofort (Prompt ändern) | Schnell (Dokumente aktualisieren) | Langsam (Neutraining nötig) |
| Latenz | Niedrig | Mittel (Retrieval-Schritt) | Niedrig (kein Retrieval nötig) |
| Kosten (Setup) | Minimal | Mittel (Vektordatenbank) | Hoch (GPU-Training) |
| Kosten (Inference) | Höher (lange Prompts) | Höher (Kontext-Tokens) | Niedriger (kürzere Prompts) |
| Daten nötig | Keine | Dokumente | 100-10.000+ Trainingsbeispiele |
| Spezialwissen | Begrenzt | Gut (aktuelle Dokumente) | Sehr gut (internalisiert) |
*Lernziel
Nach diesem Modul kannst du evaluieren, wann Fine-Tuning die richtige Strategie ist, verstehst LoRA/QLoRA als effiziente Trainingsmethode, kennst die wichtigsten Open-Source-Modelle als Fine-Tuning-Basis und weißt, wie ein MLOps-Workflow für Custom Models aussieht. Bloom-Level: Evaluieren und Erschaffen.
Was dich erwartet
- Wann Fine-Tuning? -- Entscheidungshilfe mit interaktivem Decision Tree
- LoRA & QLoRA -- Wie du mit 0.1% der Parameter ein Modell anpasst
- Open-Source-Modelle -- Llama 4, Mistral 3, DeepSeek V4 und Qwen 3.8 als Basis
- MLOps Basics -- Von der Datenvorbereitung bis zum Monitoring in Produktion
Lass uns starten -- mit der entscheidenden Frage: Brauchst du überhaupt Fine-Tuning?
Reflektieren
Fine-Tuning ist ein mächtiges Werkzeug, aber nicht immer die richtige Antwort. In diesem Modul lernst du, wann es sich lohnt, wie LoRA und QLoRA die Kosten dramatisch senken und was MLOps in der Praxis bedeutet. Beginnen wir mit der entscheidenden Frage: Brauchst du überhaupt Fine-Tuning?