Provider Routing & Reliability

为解决上游 API 不稳定、突发 502 和认证失效问题，R1kkoSec 采用多 provider 池 + 路由策略驱动的容错机制。本文讨论实现要点和可靠性策略。

1. Routing Model

• priority_failover: 按优先级排序，主链路失败自动切换后备。
• round_robin: 在可用 provider 间轮询，平衡请求压力。
• 可按会话显式指定 provider 与 model；未指定时走全局策略。

2. Failure Classification

系统区分可重试与不可重试故障。典型可重试: 408/429/500/502/503/504；不可重试包括认证失败、provider 禁用或密钥缺失。重试采用指数退避，受 LLM_MAX_RETRIES 和延迟上限控制。

3. Health Visibility

/api/health 按 provider 执行短请求探测，暴露状态、延迟和错误摘要。前端可直接消费该接口实现状态徽章与运维告警入口。

4. Practical Recommendations

• 至少配置两组不同来源 provider。
• 统一模型上下文预算，避免切换时行为漂移。
• 记录 provider 级错误码分布，按周优化优先级和重试参数。