编程 OmniRoute:21K Star AI 网关,237 个提供商 + 4 层自动故障转移 + Token 压缩

2026-07-21 08:11:53 +0800 CST views 16

OmniRoute:21K Star AI 网关,237 个提供商 + 4 层自动故障转移 + Token 压缩

来源:微信公众号

"Never stop coding"——永不停止编码。

OmniRoute 是一个开源 AI 网关项目,GitHub ⭐ 21K,登上趋势榜 Top3。它的核心思想:把所有 AI 提供商都统一到一个 OpenAI 兼容的端点下,让 Claude Code、Cursor、Cline、Copilot 等所有工具无缝切换,毫秒级自动故障转移,永不断线。

核心亮点

免费 Tokens 池

OmniRoute 聚合了 40+ 个提供商池、500+ 个模型的免费额度。很多服务商共享同一个免费池,简单相加会严重夸大——OmniRoute 只计数一次,确保数字真实可信。

4 层自动故障转移

OmniRoute 设计了一套聪明的 4 层故障转移机制:

层级说明
订阅层优先使用你付费订阅的服务(Claude Code、Codex、Copilot)
API Key 层订阅配额用完时,自动切换到你配置的 API Key
便宜层使用成本极低的模型(如 GLM,$0.5/1M tokens)
免费层最后兜底,使用永久免费的提供商

整个切换过程在毫秒级完成,你甚至感觉不到任何中断。

15-95% Token 压缩

AI 编码时,工具输出(git diff、日志、grep 结果)往往占据大量 tokens,但模型并不需要完整处理这些内容。

OmniRoute 集成了 RTK + Caveman 压缩技术,智能过滤和压缩这些内容,平均节省 15-95% 的 tokens。

17 种路由策略

策略说明
priority按优先级顺序使用,用尽一个再切换下一个
cost-optimized自动选择成本最低的模型
headroom优先选择配额最充足的提供商
lkgp优先使用最近成功的提供商
fusion并行请求多个模型,由"裁判"模型综合最优答案

你可以构建自定义 combo,灵活组合策略。

内置 MCP 服务器

OmniRoute 内置了 MCP(Model Context Protocol)服务器,支持 95 个工具30 个权限范围

快速上手

安装

# npm 全局安装
npm install -g omniroute

# Docker 部署
docker run -p 20128:20128 diegosouzapw/omniroute

# Electron 桌面应用(支持 Windows/macOS/Linux)

启动服务

omniroute start
# 服务默认运行在 http://localhost:20128/v1

配置 AI 工具

将 Claude Code、Cursor 等工具指向 OmniRoute 端点:

  • Claude Code:设置 API Base URL 为 http://localhost:20128/v1
  • Cursor:配置自定义 API 端点
  • 其他工具:将 base URL 指向本地网关

使用 Auto 模式

最简单的方式是使用 auto 模式:

auto/coding    # 代码生成优化
auto/fast      # 最低延迟优先
auto/cheap     # 最低成本优先
auto/offline   # 配额最充足优先
auto/smart     # 质量优先 + 10% 探索

自定义 Combo 示例

Combo: "always-on"
Strategy: priority
1. cc/claude-code       # 订阅层
2. cx/copilot           # 备用订阅
3. ds/deepseek-chat     # 便宜层
4. kg/kilo-code         # 免费层

总结

OmniRoute 解决了开发者使用 AI 工具时最头疼的三个问题:

  1. 成本控制:聚合免费额度 + 智能路由,大幅降低 AI 使用成本
  2. 高可用性:4 层自动故障转移,永不因配额问题中断工作
  3. 简化管理:一个端点管理所有 AI 提供商,告别多个控制台

完全开源免费,零成本启动。

GitHub:https://github.com/diegosouzapw/OmniRoute
官网:https://omniroute.online

推荐文章

Go 协程上下文切换的代价
2024-11-19 09:32:28 +0800 CST
在 Rust 中使用 OpenCV 进行绘图
2024-11-19 06:58:07 +0800 CST
Vue中的异步更新是如何实现的?
2024-11-18 19:24:29 +0800 CST
Vue3如何执行响应式数据绑定?
2024-11-18 12:31:22 +0800 CST
10个几乎无人使用的罕见HTML标签
2024-11-18 21:44:46 +0800 CST
paint-board:趣味性艺术画板
2024-11-19 07:43:41 +0800 CST
PHP设计模式:单例模式
2024-11-18 18:31:43 +0800 CST
mysql 计算附近的人
2024-11-18 13:51:11 +0800 CST
程序员茄子在线接单