라우팅 및 장애 조치

모든 엔드포인트는 model(선택 사항)과 routing_strategy(기본값 "auto")를 받습니다:

• manual — 제공된 model을 정확히 사용합니다. 카탈로그에 존재하지 않으면 model_not_found 오류가 발생합니다.
• auto — 해당 카테고리의 이용 가능한 모델 중에서 품질/비용 가중 점수(품질 x 0.7, 정규화된 비용 페널티 x 0.3)로 선택합니다. 따라서 더 저렴한 제공업체가 약간 더 우수하지만 더 비싼 제공업체를 이길 수 있습니다.
• best_quality — 품질 점수만으로 내림차순 정렬합니다.
• cheapest — 평균 가격만으로 오름차순 정렬합니다.
• fastest — 관측된 평균 지연 시간으로 오름차순 정렬합니다.

manual을 제외하고, 처음 선택된 후보가 실패하면(제공업체 장애, 타임아웃, 5xx 오류) 요청은 순위상 다음 후보로 자동 재시도됩니다 — 사용자에게는 완전히 투명하게 처리됩니다. 호출은 호환되는 모든 후보가 실패했을 때만 실패합니다(503 all_providers_unavailable).

각 제공업체는 지속적으로 모니터링되는 상태를 가집니다: healthy, degraded, 또는 down. down 상태의 제공업체는 순위에서 제외되며(회로 차단), degraded 상태의 제공업체는 계속 사용할 수 있지만 최후의 수단으로만 사용됩니다. 다음을 통해 조회할 수 있습니다:

가격과 기능이 포함된 카테고리별 전체 모델 목록은 자유롭게 조회할 수 있습니다(AI 호출 없음, 무료):