Routing & Failover

Wie ein Modell ausgewählt wird und was bei einem Anbieterausfall passiert.

routing_strategy

Jeder Endpunkt akzeptiert model (optional) und routing_strategy (Standard "auto"):

manual — verwendet genau das angegebene model. Fehler model_not_found, falls es nicht im Katalog existiert.
auto — gewichtete Qualitäts-/Kosten-Bewertung (Qualität x 0,7, normalisierte Kostenstrafe x 0,3) unter den verfügbaren Modellen der Kategorie. Ein günstigerer Anbieter kann so einen etwas besseren, aber teureren Anbieter übertreffen.
best_quality — sortiert nur nach Qualitätswert, absteigend.
cheapest — sortiert nur nach Durchschnittspreis, aufsteigend.
fastest — sortiert nach beobachteter durchschnittlicher Latenz, aufsteigend.

json

{ "model": "claude-opus-5", "routing_strategy": "manual" }

Automatischer Failover

Außer bei manual wird die Anfrage, falls der erste gewählte Kandidat fehlschlägt (Anbieterausfall, Timeout, 5xx-Fehler), automatisch mit dem nächsten Kandidaten im Ranking wiederholt — völlig transparent für Sie. Der Aufruf schlägt nur fehl, wenn alle kompatiblen Kandidaten fehlgeschlagen sind (503 all_providers_unavailable).

Gesundheitsstatus der Anbieter

Jeder Anbieter hat einen kontinuierlich überwachten Status: healthy, degraded oder down. Ein down-Anbieter wird aus dem Ranking ausgeschlossen (offener Schaltkreis); ein degraded-Anbieter bleibt nutzbar, aber nur als letztes Mittel. Abrufbar über:

bash

GET /v1/status

Modellkatalog

Die vollständige Liste der verfügbaren Modelle pro Kategorie, mit Preisen und Fähigkeiten, ist frei abfragbar (kein KI-Aufruf, kostenlos):

bash

GET /v1/models?category=text

Ein kategorienübergreifender Anbieter (z. B. OpenAI für Text und Bild) teilt einen einzigen Gesundheitsstatus über seine Kategorien hinweg — ein Ausfall, der nur eine Kategorie betrifft, wirkt sich beim automatischen Routing auch auf die anderen Kategorien dieses Anbieters aus.