Smart Routing

自定义Model Combination,自动故障切换

创建虚拟模型名,绑定多个真实模型,按主备、轮询或随机策略自动调度。某个模型不可用时自动切换到下一个

Create your smart route in 3 steps

1

Create routes in Console → Smart Routes

Choose strategy (standby/round-robin/random), add models, set priority

2

Use{身份码}/{路由名} 调用

Model Name
model: abc123/k2w8x
3

System auto-routes by strategy, auto-failover on errors

No manual switching, fully transparent

Three scheduling strategies

Choose the best scheduling for your use case

Active-Standby Strategy

main_backup

按优先级从高到低依次尝试。主模型优先,失败后自动切换到备用模型。适合需要高稳定性的场景。

Round Robin Strategy

round_robin

每次请求轮流使用下一个模型,均匀分配负载。适合需要分散请求量、避免单一模型过载的场景。

Random Strategy

random

每次请求随机选择一个模型,简单高效。适合多个同等质量模型、无需特定优先级的场景。

How It Works

Strategy routing → Model attempt → Failover → Return result

01

解析路由名

识别 {身份码}/{路由名} 格式,查找到用户创建的路由配置及其绑定的模型列表

02

策略调度

根据策略(主备/轮询/随机)生成模型尝试队列,按优先级排序

03

依次尝试

按队列依次调用模型,某个模型失败时自动切换到下一个,支持渠道级故障切换

04

返回结果

第一个成功的模型结果返回给用户,全程透明,使用体验与普通模型一致

Use Cases

When to use Smart Routes?

High Availability

主模型服务不稳定时自动切换到备用模型,保障业务连续性。适合生产环境中不能容忍失败的关键调用。

Load Balancing

多个同质量模型轮流使用,分散请求量,避免单一模型触发频率限制或配额耗尽。

Cost Optimization

优先使用便宜的轻量模型,失败时 fallback 到贵但稳定的模型。在成本和质量之间取得平衡。

Unified Entry

为团队或应用提供一个固定的虚拟模型名,后端模型变更不影响前端代码。改路由配置即可切换模型。

自动故障切换

模型失败自动切换下一个

渠道级切换

同一模型内多渠道故障转移

灵活策略

主备 / 轮询 / 随机三选一

透明无感

使用体验与普通模型一致

计费说明

Each model billed independently

Each model billed at its own route rate. Plan users deduct plan quota. Failed models not charged.

One log per request

Only one log entry per request regardless of failovers. Details in failover info.

FAQ

Q

智能路由和多模协同有什么区别?

智能路由是依次尝试模型(第一个成功就返回),多模协同是并行调用所有模型然后裁判融合。智能路由追求高可用,多模协同追求高质量。

Q

调用名称里的身份码是什么?

身份码是你账号的专属唯一标识(User.InviteCode),在控制台「智能路由」页面可以复制完整的调用名称。

Q

支持流式输出吗?

完全支持。流式和非流式均可使用,切换过程对客户端透明。Cherry Studio、Cursor 等工具均可正常使用。

Q

所有模型都可以选吗?

你可以在所有平台路由、免费路由、套餐包含的模型中自由选择。前往控制台「智能路由」页面查看可选模型列表。

Q

切换会影响速度吗?

只有在主模型失败时才会尝试下一个模型,正常情况下无额外延迟。首次请求会建立渠道粘性,后续请求优先使用上次成功的渠道。

Create your first smart route

前往控制台「智能路由」页面,配置自定义模型组合

前往创建
Smart Routes - GKAI | Custom Models + Auto-Failover