Der Embedding-Raum ist die hochdimensionale Vektor-Geometrie, in die ein Embedding-Modell Text platziert. Jedes Stück Text wird ein Punkt — typischerweise 768 bis 3072 Dimensionen — und semantisch ähnliche Passagen landen nah beieinander. Distanz in diesem Raum ist der Proxy, den Retrieval-Systeme für Relevanz nutzen.
Wie er konstruiert wird.
Embedding-Modelle sind auf Hunderten Millionen (Anchor, Positive, Negative)-Tripel trainiert — Text-Paare, die nah beieinander sein sollen, und Paare, die es nicht sollen. Nach dem Training emittiert das Modell einen fixed-length Vektor für jeden Input, mit der Eigenschaft, dass nahe Vektoren «verwandt» bedeuten und ferne Vektoren «unzusammenhängend» bedeuten.
Wissenswerte Eigenschaften.
- Cosinus-Ähnlichkeit ist die Standard-Metrik. Dot-Product ist äquivalent für normalisierte Vektoren.
- Dimensionalität zählt. Höher-dimensionale Embeddings separieren Konzepte generell besser, kosten aber mehr in Storage und Search.
- Modelle sind nicht austauschbar. Zwei Embeddings aus unterschiedlichen Modellen besetzen unterschiedliche Räume und können nicht direkt verglichen werden. Re-embedden Sie alles, wenn Sie Modelle wechseln.
Wo er scheitert.
Embedding-Raum erfasst topische Ähnlichkeit, nicht immer Relevanz. Eine Anfrage nach «Q3-Umsatzzahlen» findet Dokumente über Umsatz und Q3 — inklusive solcher, die Umsatz-Prospekte erwähnen, ohne je Zahlen zu nennen. Der Fix ist Rerank (ein Cross-Encoder, der Relevanz direkt beurteilt) plus hybrides Retrieval (mit Keyword-/BM25-Scores für Exact-Match-Fallback kombinieren).
Häufige Fragen.
- Was ist Embedding-Raum in einfachen Worten?
- Embedding-Raum ist die mehrdimensionale «Karte», die ein Embedding-Modell für Text nutzt. Jedes Stück Text wird ein Punkt in diesem Raum, und Texte über ähnliche Dinge landen nah beieinander. Retrieval-Systeme nutzen Distanz in diesem Raum als Proxy für «wie relevant ist diese Passage für meine Anfrage».
- Wie viele Dimensionen hat ein Embedding?
- Typischerweise 768 bis 3072. OpenAI text-embedding-3-large ist 3072, text-embedding-3-small ist 1536. Voyage-3 ist 1024. BGE-Large ist 1024. Höher-dimensionale Embeddings separieren Konzepte besser, kosten aber mehr in Storage und Search-Latenz. Für die meisten produktiven RAGs ist 1024–1536 der Sweet-Spot.
- Kann ich Embeddings aus unterschiedlichen Modellen mischen?
- Nein. Embeddings aus unterschiedlichen Modellen leben in unterschiedlichen Räumen und können nicht direkt verglichen werden. Wenn Sie Embedding-Modelle wechseln, müssen Sie die gesamte Knowledge-Base von Grund auf neu embedden. Planen Sie das ein — Modell-Upgrades sind nicht gratis.
- Warum scheitert Embedding-only-Suche bei manchen Anfragen?
- Embedding-Raum erfasst topische Ähnlichkeit, nicht immer Exact-Match-Relevanz. Anfragen mit Eigennamen, Codes, Versionsnummern oder seltenen Begriffen können in reiner semantischer Suche schlechten Recall bekommen. Die produktive Antwort ist hybrides Retrieval (Vektor + BM25-Keyword-Scores kombinieren) plus Rerank.
Englische Fassung: Embedding-Raum on the EN edition.