路由与故障转移

模型是如何被选择的,以及供应商故障时会发生什么。

routing_strategy

每个端点都接受 model(可选)和 routing_strategy(默认值为 "auto"):

  • manual — 精确使用所提供的 model。若该模型不存在于目录中,则返回 model_not_found 错误。
  • auto — 在该类别的可用模型中按质量/成本加权评分(质量权重 0.7,归一化成本惩罚权重 0.3)。因此,价格更低的供应商可能会胜过质量略优但价格更高的供应商。
  • best_quality — 仅按质量评分降序排列。
  • cheapest — 仅按平均价格升序排列。
  • fastest — 按观测到的平均延迟升序排列。
json
{ "model": "claude-opus-5", "routing_strategy": "manual" }

自动故障转移

manual 外,若首选候选模型调用失败(供应商故障、超时、5xx 错误),系统会自动使用排名中的下一个候选重试该请求——对您而言完全透明。只有当所有兼容的候选均失败时,调用才会失败(503 all_providers_unavailable)。

供应商健康状态

每个供应商都拥有一个持续监控的状态:healthydegradeddowndown 状态的供应商会被排除在排名之外(熔断);degraded 状态的供应商仍可使用,但仅作为最后选择。可通过以下方式查询:

bash
GET /v1/status

模型目录

按类别列出的全部可用模型(含价格与能力信息)可自由查询(不涉及 AI 调用,免费):

bash
GET /v1/models?category=text
跨多个类别的供应商(例如 OpenAI 同时提供文本和图像)在其各类别之间共用同一个健康状态——仅影响单一类别的故障,在自动路由中也会影响该供应商的其他类别。