Schritt 1 von 4Wissen
Wie "versteht" ein LLM, dass "Hund" und "Katze" ähnlich sind, aber "Hund" und "Steuererklärung" wenig miteinander zu tun haben? Die Antwort heißt Embeddings. Ein Embedding verwandelt jedes Wort (oder jeden Token) in eine Liste von Zahlen — einen sogenannten Vektor. Diese Zahlen beschreiben die Bedeutung des Wortes in einem mathematischen Raum.
Jedes Wort hat eine Adresse in einer riesigen Stadt. Wörter mit ähnlicher Bedeutung wohnen in der gleichen Nachbarschaft. "Hund", "Katze" und "Hamster" leben alle in der Straße "Haustiere". "Auto", "Bus" und "Fahrrad" wohnen im Viertel "Fahrzeuge". Je ähnlicher zwei Wörter sind, desto näher stehen ihre Häuser.
- Tiere
- Farben
- Programmieren
- Essen
Schritt 2 von 4Verstehen
In der Realität hat diese "Stadt" nicht nur drei Dimensionen (Länge, Breite, Höhe) wie unsere Welt, sondern 768 bis 4.096 Dimensionen. Das ist für uns Menschen unvorstellbar, aber mathematisch kein Problem. Ein Computer kann problemlos berechnen, wie nah zwei Punkte in einem Raum mit tausenden Dimensionen beieinander liegen.
Das Schöne daran: Man kann mit Embeddings sogar rechnen. Das berühmteste Beispiel ist:
König - Mann + Frau = Königin
Die Bedeutung von Wörtern wird also zu etwas, womit Computer arbeiten können.
Schritt 3 von 4Anwenden
Embeddings begegnen dir im Alltag öfter, als du denkst. Wenn Spotify dir ähnliche Songs vorschlägt, wenn Netflix Filme empfiehlt oder wenn du in einer App nach "günstiges Hotel am Strand" suchst und auch Ergebnisse für "preiswertes Zimmer an der Küste" bekommst — dahinter stecken oft Embeddings. Sie ermöglichen semantische Suche: Die Suche nach Bedeutung statt nach exakten Wörtern.
In der AI-Welt sind Embeddings außerdem die Grundlage für RAG (Retrieval-Augmented Generation) — eine Technik, bei der LLMs auf eigene Dokumente zugreifen. Dazu später mehr.