Open-Source-Modelle als Fine-Tuning-Basis
iStand: September 2026
Modellversionen, Parameterzahlen und Lizenzen entsprechen dem Stand vom September 2026. Im Open-Source-Bereich erscheinen neue Modellgenerationen im Monatstakt — die Auswahlkriterien (Lizenz, Kontextlänge, Ökosystem) bleiben dagegen stabil.
Wissen
Fine-Tuning beginnt nie bei null. Du brauchst ein leistungsfähiges Basismodell, das bereits Sprache versteht, logisch denken und Code schreiben kann. Die Open-Source-Community hat hier in den letzten Jahren eine Revolution ausgelöst: Modelle, die mit proprietären Systemen konkurrieren, stehen kostenlos zur Verfügung.
Die vier Schwergewichte (Stand September 2026)
Llama 4 (Meta)
Metas neueste Modellfamilie. Llama 4 Scout (17B aktive Parameter, 109B total, MoE) und Llama 4 Maverick (17B aktive Parameter, 400B total, MoE) setzen auf Mixture-of-Experts-Architektur. Das bedeutet: Nicht alle Parameter werden bei jeder Anfrage aktiviert, was die Inference-Kosten reduziert.
- Kontextlänge: Bis zu 10M Tokens (Scout), 1M Tokens (Maverick)
- Stärken: Multilingualität (12 Sprachen nativ), starkes Coding, offene Gewichte
- Lizenz: Llama Community License -- kommerziell nutzbar mit Einschränkungen (700M+ MAU-Schwelle)
- Fine-Tuning-Ökosystem: Exzellent (Hugging Face, Unsloth, Axolotl)
Mistral 3 (Mistral AI)
Das französische AI-Lab setzt auf effiziente Modelle. Mistral Large 3 (675B gesamt, 41B aktive Parameter, MoE) und die kompakten Ministral-3-Varianten (3B, 8B, 14B) bieten starke Performance und sind bekannt für hervorragende europäische Sprachunterstützung.
- Kontextlänge: 256K Tokens
- Stärken: Effizienz, europäische Sprachen, Function Calling
- Lizenz: Apache 2.0 (bei den offenen Varianten) -- maximale Freiheit
- Fine-Tuning-Ökosystem: Sehr gut, besonders für europäische Use Cases
DeepSeek V4 (DeepSeek)
Das chinesische Lab hat im April 2026 mit V4-Pro und V4-Flash nachgelegt (1,6T Parameter, MoE) -- beide direkt mit offenen Gewichten. Die innovative Architektur (DeepSeek Sparse Attention, DSA) und ein aggressives Preis-Leistungs-Verhältnis machen V4 zum stärksten offenen Coding-Modell.
- Kontextlänge: 1M Tokens (1.048.576)
- Stärken: Coding (80,6 % SWE-bench Verified), Reasoning, Mathematik, extrem kosteneffizient
- Lizenz: MIT-Lizenz -- Code und Modellgewichte vollständig kommerziell nutzbar
- Fine-Tuning-Ökosystem: Gewachsen, breite Community-Unterstützung
Qwen 3.8 (Alibaba)
Alibabas Qwen-Reihe hat sich 2026 an die Spitze der offenen Modelle geschoben. Die dichte 27B-Variante (August 2026) läuft bei 4-Bit-Quantisierung in rund 17 GB -- also auf einer einzelnen guten GPU -- und nimmt Bilder und Video nativ entgegen.
- Kontextlänge: 262K Tokens
- Stärken: Multimodalität, sehr gutes Verhältnis von Größe zu Leistung, läuft lokal
- Lizenz: Apache 2.0 -- maximale Freiheit
- Fine-Tuning-Ökosystem: Sehr aktiv, starke Community
Vergleich auf einen Blick
Modell-Vergleich: Open-Source LLMs
Hover auf eine Achse für Detailwerte. Klicke in der Legende, um Modelle ein-/auszublenden.
Modelle (klicken zum Ein-/Ausblenden)
Verstehen
Lizenzen verstehen -- das übersehene Detail
Die Lizenz eines Basismodells bestimmt, was du mit deinem fine-getunten Modell machen darfst. Das wird oft unterschätzt.
| Lizenz | Kommerziell | Redistribution | Abgeleitete Modelle | Einschränkungen |
|---|---|---|---|---|
| MIT (DeepSeek) | Ja | Ja | Ja | Keine |
| Apache 2.0 (Mistral, Qwen) | Ja | Ja | Ja | Patent-Klausel |
| Llama Community (Meta) | Ja* | Ja* | Ja* | *700M MAU-Schwelle, Usage Policy |
Praxistipp: Wenn du ein Modell für einen Kunden fine-tunest, prüfe die Lizenz sorgfältig. DeepSeek V4 steht vollständig unter MIT -- Code und Modellgewichte sind frei kommerziell nutzbar. Die Llama-Lizenz hat Nutzungsbedingungen, die bestimmte Anwendungen einschränken.
Welches Modell für welchen Use Case?
Deutsch/Europäische Sprachen: Mistral 3 hat hier traditionell einen Vorteil, gefolgt von Llama 4 mit nativem Deutsch-Support.
Code-Generierung und Reasoning: DeepSeek V4 dominiert hier mit 80,6 % auf SWE-bench Verified und dem besten Preis-Leistungs-Verhältnis.
Enterprise mit langen Kontexten: Llama 4 Scout mit 10M Tokens Kontext ist unerreicht im Open-Source-Bereich.
Budget-Optimierung: DeepSeek V4 (MIT-Lizenz, effiziente MoE-Architektur) oder kleinere Qwen- und Ministral-Varianten.
Lokaler Betrieb auf einer GPU: Qwen 3.8 27B läuft quantisiert in rund 17 GB.
Ein deutsches Unternehmen will ein Fine-Tuning-Projekt starten. Das Modell soll in einer SaaS-Lösung für 2 Millionen monatliche Nutzer eingesetzt werden. Welches Basismodell empfiehlst du?
Anwenden
Modellwahl-Checkliste
Bevor du ein Basismodell für Fine-Tuning auswählst, prüfe:
- Lizenzkompatibilität: Erlaubt die Lizenz deinen geplanten Einsatz?
- Sprachunterstützung: Wie gut ist das Modell in deiner Zielsprache?
- Modellgröße vs. Hardware: Passt das Modell (quantisiert) auf deine verfügbare Hardware?
- Fine-Tuning-Tooling: Gibt es gute Adapter und Tutorials für dieses Modell?
- Community-Support: Wie aktiv ist die Community bei Fragen und Bug-Reports?
- Benchmark-Performance: Wie schneidet das Modell bei für dich relevanten Benchmarks ab?
Das Ökosystem
Die wichtigsten Tools für Open-Source-Fine-Tuning:
- Hugging Face Transformers + PEFT: De-facto-Standard für LoRA/QLoRA
- Unsloth: 2-5x schnelleres Training durch Kernel-Optimierungen
- Axolotl: Konfigurationsbasiertes Fine-Tuning (YAML statt Code)
- LitGPT: Lightning AIs Framework für Training und Inference
- vLLM: Hochperformante Inference-Engine für das fertige Modell
Reflektieren
Die Open-Source-Modelllandschaft entwickelt sich rasant. Was heute der Stand der Technik ist, kann in sechs Monaten überholt sein. Die Kernkompetenz liegt nicht darin, ein spezifisches Modell zu kennen, sondern die Kriterien zu verstehen, nach denen du das richtige Modell evaluierst. Lizenz, Performance, Tooling und Community sind die vier Säulen dieser Entscheidung.