Observability-Traces sind die Pro-Anfrage-Aufzeichnung jedes Schrittes, den ein KI-System unternommen hat: die Modellaufrufe, Tool-Aufrufe, Retrieval-Queries und deren Ergebnisse, Pro- Schritt-Latenzen und Token-Counts, der finale Output. Ohne Traces ist das Debuggen eines produktiven KI-Systems Detektivarbeit über Screenshots. Mit Traces sind die meisten Probleme in Sekunden gelöst.
Was ein Trace enthält.
- Der Input. Die rohe Nutzeranfrage oder Upstream- Nachricht.
- Der Execution-Graph. Jeder Modellaufruf, jeder Tool- Aufruf, jede Sub-Agent-Dispatchung mit erhaltenen Eltern- Kind-Beziehungen.
- Pro-Schritt Inputs und Outputs. Der exakte Prompt, der an jeden Modellaufruf gesendet wurde, die exakte Antwort, die exakten Argumente jedes Tool-Aufrufs, das exakte Tool- Ergebnis.
- Pro-Schritt Metriken. Latenz, Token-Count, Kosten, Modellversion.
Warum Traces nicht optional sind.
KI-Systeme sind nicht-deterministisch. Derselbe Input am Dienstag und am Donnerstag kann andere Outputs produzieren, weil die Upstream-Modellversion sich geändert hat, ein Retrieval-Index neu aufgebaut wurde oder ein Tool leicht unterschiedliche Daten zurückgab. Ohne Traces ist die Post- Incident-Analyse Raterei. Mit Traces hat die Frage «was ist bei dieser Anfrage passiert?» eine einzige wiederabspielbare Antwort. Die breitere Disziplin heisst KI-Observability und ist Teil derselben Schicht wie die Eval-Harness.
Häufige Fragen.
- Was sind Observability-Traces in KI-Systemen?
- Ein Observability-Trace ist die Pro-Anfrage-Aufzeichnung jedes Schrittes, den ein KI-System unternommen hat: Modellaufrufe, Tool-Aufrufe, Retrieval-Queries, Latenzen, Token-Counts. Es ist das KI-System-Äquivalent eines APM-Trace in einem verteilten Service. Ohne Traces ist das Debuggen produktiver KI Detektivarbeit; mit ihnen sind die meisten Probleme in Sekunden gelöst.
- Brauche ich ein dediziertes KI-Observability-Tool?
- Nicht zwingend. Ein zweckgebautes Tool (LangSmith, Phoenix, Langfuse) gibt KI-native Ansichten — Prompt-Diffs, Eval-Replay, Fixture-Matching — die ein generisches APM nicht hat. Sie können aber auch OpenTelemetry-Traces in Ihren bestehenden Observability-Stack einspeisen.
- Was ist der Unterschied zwischen einem Trace und einem Log?
- Ein Log ist eine einzelne Zeile zu einem einzelnen Zeitpunkt. Ein Trace ist die verbundene Geschichte einer gesamten Anfrage — alle Spans, alle Eltern-Kind-Verbindungen, alle Metriken, verbunden durch eine Trace-ID. Für KI-Systeme, wo eine einzelne Nutzeranfrage fünf Modellaufrufe und drei Tool-Aufrufe auslösen kann, sind Traces die einzige sinnvolle Primitive.
- Sollte jedes produktive KI-System Traces haben?
- Ja. Die Kosten der Trace-Emission sind klein; die Kosten des Debuggens ohne Traces sind enorm. Jedes produktive Morvion-KI-Engagement liefert Traces vor dem Launch verdrahtet, im ersten Monat zu 100% gesampelt und danach auf eine nachhaltige Rate gedrosselt.
Englische Fassung: Observability-Traces on the EN edition.