主 题：请教：自建反代网关挂几十个模型，失败重试和模型降级怎么做比较稳？
发 布 者：大熊养鱼
标签分类： 技术
时 间：2026-10-20 09:43:05
内容预览：背景：自己 VPS 上跑了个 WorkBuddy 反代网关（OpenAI 兼容接口），国内版/国际版可切换，Telegram 机器人通过 /model 切换，后面大概挂了 50 个模型，每天跑 agent 任务，token 量不小。已做的：网关前加了访问控制，统一 base URL 接入。遇到的问题：偶尔碰到上游失败，比如连续 burst 调用后返回 503，冷却一会儿又恢复。想请教做过自建网关的佬：这种场景的失败重试一般放哪一层做比较稳——网关层统一重试队列，还是客户端侧指数退避？另外模型间降级（主模型挂了自动切到备选模型）有没有现成的开源方案或成熟做法可以参考？先谢过。
直达链接： https://www.nodeseek.com/post-995063-1
发 布 者：大熊养鱼
标签分类： 技术
时 间：2026-10-20 09:43:05
内容预览：背景：自己 VPS 上跑了个 WorkBuddy 反代网关（OpenAI 兼容接口），国内版/国际版可切换，Telegram 机器人通过 /model 切换，后面大概挂了 50 个模型，每天跑 agent 任务，token 量不小。已做的：网关前加了访问控制，统一 base URL 接入。遇到的问题：偶尔碰到上游失败，比如连续 burst 调用后返回 503，冷却一会儿又恢复。想请教做过自建网关的佬：这种场景的失败重试一般放哪一层做比较稳——网关层统一重试队列，还是客户端侧指数退避？另外模型间降级（主模型挂了自动切到备选模型）有没有现成的开源方案或成熟做法可以参考？先谢过。
直达链接： https://www.nodeseek.com/post-995063-1
