Fein-granulares Routing ist das produktive Muster, bei dem jeder Schritt in einem Workflow sein eigenes Modell pickt. Ein Retrieval-Summarisierungs-Schritt, der nur 5k Tokens Kontext komprimiert, läuft auf einem kleinen schnellen Modell. Der Reasoning-Schritt, der die nächste Aktion entscheidet, läuft auf einem grossen Modell. Wo Modell-Routing ein Modell pro Request pickt, pickt fein-granulares Routing eines pro Schritt.
Warum Per-Step zählt.
Ein typischer agentischer Workflow läuft mehrere Modellaufrufe pro Request. Der günstigste und der teuerste Call unterscheiden sich in den Kosten oft um ein Vielfaches. Jeden Schritt zum kleinsten Modell zu routen, das noch seine Rubrik passt, senkt Gesamt-Spend dramatisch, ohne die Qualität des Schritts zu senken, der tatsächlich das grosse Modell braucht.
Wie man jeden Schritt sized.
- Per-Step-Eval. Das Fixture-Set scored jeden Schritt unabhängig. Das kleinste Modell, das die Per-Step-Rubrik hits, gewinnt.
- Confidence-Eskalation. Günstige Schritte laufen ein schnelles Modell und self-reporten Confidence; unter Schwelle, eskalieren zu einem grösseren Modell. Die Eval hält die Eskalations-Rate unter Kontrolle.
- Latenz-Budget pro Schritt. Long-Context-Schritte und Reasoning-Schritte haben unterschiedliche Latenz- Budgets. Modell-Wahl respektiert sowohl Qualität als auch Budget.
Fallstricke.
Der grösste Fehler ist, jeden Schritt gleich zu behandeln und Gross-Modell-Preis für Klein-Modell-Arbeit zu zahlen. Der zweite ist, zu aggressiv zu eskalieren (jeder günstige Schritt retryt auf dem grossen Modell, sodass die Ersparnisse verschwinden). Die Eval-Harness, mit Per-Step- Qualität und -Kosten beide gescored, ist das, was beide Fehler vom stillen Compounden abhält.
Häufige Fragen
- Was ist fein-granulares Routing?
- Fein-granulares Routing ist das produktive Muster, ein unterschiedliches Modell für jeden Schritt in einem Workflow zu picken statt eines einzelnen Modells pro Request. Günstige Schritte laufen auf kleinen schnellen Modellen; teure Schritte laufen auf grossen Modellen. Die Kosten-Verteilung matched die Schwierigkeits-Verteilung des Workflows.
- Wie unterscheidet sich fein-granulares Routing von einem Modell-Router?
- Ein Modell-Router pickt ein Modell pro Request basierend auf Anfrage-Schwierigkeit. Fein-granulares Routing pickt ein Modell pro Schritt innerhalb eines einzelnen Workflows. Beide Schichten können koexistieren; viele produktive Systeme nutzen den Router auf Request-Ebene und fein-granulares Routing innerhalb von Multi-Step-Workflows.
- Welche Kosten-Einsparungen sind realistisch?
- Auf Workflows mit gemischter Schritt-Schwierigkeit (die meisten agentischen Workflows) senkt fein-granulares Routing den Modell-Spend deutlich gegenüber dem Ansatz, jeden Schritt auf einem grossen Modell laufen zu lassen. Die Ersparnisse hängen von der Schwierigkeits-Verteilung ab; Workflows mit einem harten Schritt und neun günstigen profitieren am meisten.
- Wie halten wir Schritt-Qualität hoch unter fein-granularem Routing?
- Per-Step-Eval. Scoren Sie jeden Schritt gegen seine eigene Rubrik auf einem gelabelten Fixture-Set. Das kleinste Modell, das noch die Rubrik passt, gewinnt. Die Eval-Harness hält die Eskalations-Rate sichtbar; ohne sie degradiert fein-granulares Routing still und die Ersparnisse verschwinden in Retry-Kosten.
Englische Fassung: Fein-granulares Routing im englischen Glossar.