Tokens — Die Bausteine der Sprache
Wissen
Wenn du mit einem LLM sprichst, liest es deine Nachricht nicht Wort für Wort, sondern zerlegt sie in kleinere Einheiten: Tokens. Ein Token ist eine Subwort-Einheit — ungefähr drei Viertel eines Wortes. Manche kurze Wörter wie "AI" oder "ist" sind ein einziges Token. Längere Wörter wie "Künstliche" werden in 2-3 Tokens zerlegt.
Warum nicht einfach ganze Wörter nehmen? Weil es in jeder Sprache Millionen möglicher Wörter gibt (denk an Zusammensetzungen wie "Donaudampfschifffahrtsgesellschaft"). Durch die Zerlegung in Tokens kann das Modell mit einem überschaubaren Vokabular von 30.000-100.000 Einheiten arbeiten.
Verstehen
Um dir ein Gefühl für Token-Mengen zu geben, hier einige Alltagsvergleiche:
- Eine WhatsApp-Nachricht: ca. 25-30 Tokens
- Eine kurze E-Mail: ca. 250-300 Tokens
- Ein Zeitungsartikel: ca. 1.000-2.000 Tokens
- Ein Roman: ca. 100.000 Tokens
Tokens sind aus einem praktischen Grund wichtig: Kosten werden pro Token berechnet. Jedes Token, das du an ein LLM schickst (Eingabe), und jedes Token, das es zurückgibt (Ausgabe), kostet Geld. Außerdem gibt es ein Token-Limit — die maximale Anzahl an Tokens für Eingabe und Ausgabe zusammen.
*Was kostet das in der Praxis?
Bei gängigen LLMs kosten 1.000 Tokens etwa 0,001 bis 0,01 Euro. Eine typische Konversation mit 10 Nachrichten kostet also nur wenige Cent. Bei kostenlosen Angeboten wie ChatGPT Free oder Claude Free zahlst du nichts — dort finanziert der Anbieter die Kosten.
Originaltext
Die Künstliche Intelligenz verändert unsere Welt
Token-Zerlegung (simuliert)
Tokens
14
Zeichen
48
Ungefähre Kosten (GPT-4)
$0.00028
Hinweis: Dies ist eine vereinfachte Simulation. Echte Tokenizer (wie BPE) arbeiten anders.
Anwenden
Wenn du ein LLM nutzt und eine sehr lange Antwort bekommst, die mitten im Satz abbricht, weißt du jetzt warum: Das Token-Limit wurde erreicht. Du kannst dann einfach "Bitte fahre fort" schreiben, und das LLM setzt dort an.
Schätze die ungefähre Token-Anzahl:
Reflektieren
Warum werden die Kosten bei LLMs pro Token und nicht pro Wort berechnet?