Zum Inhalt springen

Tokens — Die Bausteine der Sprache

  • Einsteiger · Modul 03
  • Lektion 2 von 7 · danach Quellen und Quiz

Schritt 1 von 4Wissen

Wenn du mit einem LLM sprichst, liest es deine Nachricht nicht Wort für Wort, sondern zerlegt sie in kleinere Einheiten: Tokens. Ein Token ist eine Subwort-Einheit — ungefähr drei Viertel eines Wortes. Manche kurze Wörter wie "AI" oder "ist" sind ein einziges Token. Längere Wörter wie "Künstliche" werden in 2-3 Tokens zerlegt.

Warum nicht einfach ganze Wörter nehmen? Weil es in jeder Sprache Millionen möglicher Wörter gibt (denk an Zusammensetzungen wie "Donaudampfschifffahrtsgesellschaft"). Durch die Zerlegung in Tokens kann das Modell mit einem überschaubaren Vokabular von 30.000-100.000 Einheiten arbeiten.

Schritt 2 von 4Verstehen

Um dir ein Gefühl für Token-Mengen zu geben, hier einige Alltagsvergleiche:

  • Eine WhatsApp-Nachricht: ca. 25-30 Tokens
  • Eine kurze E-Mail: ca. 250-300 Tokens
  • Ein Zeitungsartikel: ca. 1.000-2.000 Tokens
  • Ein Roman: ca. 100.000 Tokens

Tokens sind aus einem praktischen Grund wichtig: Kosten werden pro Token berechnet. Jedes Token, das du an ein LLM schickst (Eingabe), und jedes Token, das es zurückgibt (Ausgabe), kostet Geld. Außerdem gibt es ein Token-Limit — die maximale Anzahl an Tokens für Eingabe und Ausgabe zusammen.

Tipp
Was kostet das in der Praxis?

Bei gängigen LLMs kosten 1.000 Tokens etwa 0,001 bis 0,01 Euro. Eine typische Konversation mit 10 Nachrichten kostet also nur wenige Cent. Bei kostenlosen Angeboten wie ChatGPT Free oder Claude Free zahlst du nichts — dort finanziert der Anbieter die Kosten.

Interaktiv · Token-Zerlegung
DieKünstlicheIntelligenzverändertunsereWelt
14
Tokens
48
Zeichen
$0.00028
Ungefähre Kosten (großes Modell, Output)
Hinweis: Dies ist eine vereinfachte Simulation. Echte Tokenizer (wie BPE) arbeiten anders.

Schritt 3 von 4Anwenden

Wenn du ein LLM nutzt und eine sehr lange Antwort bekommst, die mitten im Satz abbricht, weißt du jetzt warum: Das Token-Limit wurde erreicht. Du kannst dann einfach "Bitte fahre fort" schreiben, und das LLM setzt dort an.

Übung · Lückentext
Schätze die ungefähre Token-Anzahl:
Eine WhatsApp-Nachricht hat ca. Tokens.

Schritt 4 von 4Reflektieren

Frage · Selbstcheck
Warum werden die Kosten bei LLMs pro Token und nicht pro Wort berechnet?