GitHub 趋势 · 第 24 期
63k star 的 MIT AI 网关:/ 一端吃 352 家,月省 14 亿免费 token
#AI网关
#MIT
#352 providers
#免费额度自动调度
如果你同时用 Claude Code、Codex、Cursor 三家,每家都得有自己的 key、dashboard、扣费;某天额度一满,干到一半的活就停了。OmniRoute 把这件事做成了一条 本地 HTTP 端点 → 智能路由 → 352 家 provider 的自动 fallback chain。最新版 v3.8.50/51,自称 ~1.47B 免费 token/月,背后是 550+ 贡献者。本期拆它的逻辑、它踩的坑、它凭什么 7 个月涨到 6 万多 star。
GitHub Trending 今日榜第 11 位(+591 today,总 63,848 star)。先把它说清楚一件事——它不是 OpenRouter 的克隆。它的差异点是「把免费额度变成可调度的算力」和「客户端零改造」。这两件事并不平凡,后面展开。
痛点:你有 10 个面板、8 个 key,跑到一半就停了
典型的开发场景:Claude 4 写代码最强但贵;Grok/DeepSeek/GLM 各有免费层;某个晚上额度用光,下次开 Coding Agent 才发现。OmniRoute 的作者 Diego Souza 把这件事在 README 标题句里直接命名:「Never stop coding」。
OmniRoute 的解法是把「订阅 → API Key → 廉价模型 → 免费层」四级按 健康/额度/成本/延迟/会话可用性 等 15 个因子打分,自动 fallback。客户端只要指 http://localhost:20128/v1,调 model=auto 即可。
项目是什么:MIT 的开源 AI 网关 + 客户端 Agent SDK
一句话描述(README 原文):「Never stop coding. Free MIT AI gateway: one endpoint, 352 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax」——但 README 还在快速迭代,最新自报 354 providers。
技术栈:100% TypeScript + Next.js 16 + React 19 + Tailwind 4,better-sqlite3 + LowDB 双存储,Zod 4 做 API 契约,MCP(stdio / HTTP / SSE)+ A2A v0.3(JSON-RPC 2.0 + SSE)双协议。Node 24+ LTS 跑服务端,单进程同时 serve Dashboard 与 API(同一端口 20128)。
核心能力:四项差异化
下面四项是与 OpenRouter / LiteLLM / CLIProxyAPI / 9router 同台时OmniRoute 单独亮出来的差异化:
| 能力 | OmniRoute 的做法(README 原文摘) |
|---|---|
| 免费额度调度 | 目录聚合 444 条 free-tier entries、34 个 recurring pool keys,对共享池自动去重,HUD 上 /dashboard/free-tiers 实时扣量 |
| 路由策略 | 19 种 combo 策略(priority / fill-first / weighted / round-robin / p2c / least-used / random / cost-optimized / headroom / reset-window / cache-optimized / lkgp / auto / fusion 多模型融合+裁判 / pipeline 串联…) |
| 上下文压缩 | 12 引擎管线:RTK + Caveman 叠加默认 89.2%(区间 78–95%);另有 LLMLingua-2/Ultra/OmniGlyph;引擎皆可按 combo 调 |
| 客户端兼容 | /v1 提供 OpenAI + Anthropic + Gemini 兼容;MCP 暴露 110 工具给 Agent;CLI 直接接管 Claude Code/Codex/Cursor/Cline/Copilot 等 36 个工具 |
更狠的是它已经做完了一个 Auto-Combo:你不用手工把 5 个 provider 串起来,OmniRoute 按 15 因子实时打分,自动产出一条虚 combo。这是它和同类最大的工程差异:少配置。
上手:README 原文三条命令
作者官方 Quick Start:
# 1. 全局安装 + 一行启动(npm 包名:omniroute)
npm install -g omniroute
omniroute
# Dashboard: http://localhost:20128
# API: http://localhost:20128/v1
# 2. 验证 auto 路由(无需 key,无需注册)
curl http://localhost:20128/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'
# 3. 一键接管 36 个 Agent CLI(不用改配置文件)
omniroute run codex --model glm/glm-5.2
omniroute run claude --model openai/gpt-5.4
omniroute configure codex # 交互式选 provider+modelDocker 也是一句:
docker run -d --name omniroute --restart unless-stopped \ -p 127.0.0.1:20128:20128 \ -v omniroute-data:/app/data \ diegosouzapw/omniroute:latest # Coding Agent 场景建议显式给更大堆(README 警告:默认 1GiB 会 OOM) -e OMNIROUTE_MEMORY_MB=8192 --memory=10g
真实坑:从 README 里抠出来的几件重要的事
- ▪License 是 MIT,OK——但作者在 Kiro/OpenCode/Cheaper Inference 之外还有 aff= 参数推广链接(README 自承:partner links, fund project at no extra cost),你要看清楚你点的是不是 affiliate。
- ▪Sponsorship 不影响 routing——他在 Support 章节明确:'Sponsorship never affects routing priority; it buys visibility, not ranking'。明示这句话反而是值得加分的披露,但也意味着一些 popular provider 可能因为有 sponsor 关系排位略靠前。
- ▪免费额度数据是「会来回波动的」——README 自承:'a provider ends a free tier and the number drops; a new one lands and it climbs',所以 1.47B free tokens/mo 不是承诺,是去重后的实时测算,主张'诚实不虚高'。
- ▪Docker 默认堆不够 Coding Agent 用——OMNIROUTE_MEMORY_MB 默认 1024,跑 Claude Code/Codex 时 README 直接警告:会 FATAL at ~12GiB。请按 workload 显式调 8192。
- ▪加密货币捐赠网络——BTC/ETH/USDT-TRC20/USDC-Solana 几条链写得很清楚,但 '⚠️ Send each coin only on the network shown — sending on the wrong network can lose the funds' 这句话不是套话。
- ▪.env 本地生成——项目在 npm install/postinstall 时会生成 .env,已经被 .gitignore 兜住。如果不小心 commit 了——立刻 rotate 暴露的密钥。
我的判断:适合谁、不适合谁
适合:同时跑 2 个以上 Coding Agent(Claude Code + Codex)、或想白嫖多个免费层来熬到月底、或把免费额度当多模型 A/B 跑 eval 的人。不适合:只用单一 provider(GPT/Anthropic 直连更省心)、不想本地多跑一个 Node 进程、不接受任何第三方 SDK 触达你 LLM 流量的隐私敏感场景。
数据脚注
仓库地址:github.com/diegosouzapw/OmniRoute(默认分支 release/v3.8.51)
许可证:MIT("MIT" badge + LICENSE 文件)
Star:63,848(今日 +591);Forks:8,947;默认分支 8,361 commits;最新提交 2026-09 月内
今日 Trending 名次:第 11 位(GitHub trending 页面数据)
提供商数:354(README roadmap 表),免费 150+ 标注 hasFree:true
月免费 token 预算:~1.47B(pool-deduped,去重后的实时测算;每月两次复核)
压缩节省:RTK + Caveman 叠加默认 89.2%(区间 78–95%)
抓取时间:2026-09-10 21:36 GMT+8
下期预告:rohitg00/ai-engineering-from-scratch(53k star,AI 工程实战学习库;看 README 与本期「多 provider + 智能路由」形成互补视角)。
GitHub 趋势 · 第 24 期
#OmniRoute
#MIT
#AI网关