Embeddings — Wörter als Koordinaten
Wissen
Wie "versteht" ein LLM, dass "Hund" und "Katze" ähnlich sind, aber "Hund" und "Steuererklärung" wenig miteinander zu tun haben? Die Antwort heißt Embeddings. Ein Embedding verwandelt jedes Wort (oder jeden Token) in eine Liste von Zahlen — einen sogenannten Vektor. Diese Zahlen beschreiben die Bedeutung des Wortes in einem mathematischen Raum.
iStell dir vor...
Jedes Wort hat eine Adresse in einer riesigen Stadt. Wörter mit ähnlicher Bedeutung wohnen in der gleichen Nachbarschaft. "Hund", "Katze" und "Hamster" leben alle in der Straße "Haustiere". "Auto", "Bus" und "Fahrrad" wohnen im Viertel "Fahrzeuge". Je ähnlicher zwei Wörter sind, desto näher stehen ihre Häuser.
Klicke auf einen Punkt, um Ähnlichkeiten zu sehen — oder aktiviere die Vektorrechnung
Positionen und Ähnlichkeitswerte sind vereinfacht. Echte Embedding-Räume haben hunderte Dimensionen — hier siehst du eine 3D-Projektion.
Verstehen
In der Realität hat diese "Stadt" nicht nur drei Dimensionen (Länge, Breite, Höhe) wie unsere Welt, sondern 768 bis 4.096 Dimensionen. Das ist für uns Menschen unvorstellbar, aber mathematisch kein Problem. Ein Computer kann problemlos berechnen, wie nah zwei Punkte in einem Raum mit tausenden Dimensionen beieinander liegen.
Das Schöne daran: Man kann mit Embeddings sogar rechnen. Das berühmteste Beispiel ist:
König - Mann + Frau = Königin
Die Bedeutung von Wörtern wird also zu etwas, womit Computer arbeiten können.
Anwenden
Embeddings begegnen dir im Alltag öfter, als du denkst. Wenn Spotify dir ähnliche Songs vorschlägt, wenn Netflix Filme empfiehlt oder wenn du in einer App nach "günstiges Hotel am Strand" suchst und auch Ergebnisse für "preiswertes Zimmer an der Küste" bekommst — dahinter stecken oft Embeddings. Sie ermöglichen semantische Suche: Die Suche nach Bedeutung statt nach exakten Wörtern.
In der AI-Welt sind Embeddings außerdem die Grundlage für RAG (Retrieval-Augmented Generation) — eine Technik, bei der LLMs auf eigene Dokumente zugreifen. Dazu später mehr.
Reflektieren
Was beschreibt ein Embedding am besten?