GitHub 趋势 · 第 24 期

63k star 的 MIT AI 网关:/ 一端吃 352 家,月省 14 亿免费 token

#AI网关

#MIT

#352 providers

#免费额度自动调度

如果你同时用 Claude Code、Codex、Cursor 三家,每家都得有自己的 key、dashboard、扣费;某天额度一满,干到一半的活就停了。OmniRoute 把这件事做成了一条 本地 HTTP 端点智能路由352 家 provider 的自动 fallback chain。最新版 v3.8.50/51,自称 ~1.47B 免费 token/月,背后是 550+ 贡献者。本期拆它的逻辑、它踩的坑、它凭什么 7 个月涨到 6 万多 star。

GitHub Trending 今日榜第 11 位(+591 today,总 63,848 star)。先把它说清楚一件事——它不是 OpenRouter 的克隆。它的差异点是「把免费额度变成可调度的算力」和「客户端零改造」。这两件事并不平凡,后面展开。

痛点:你有 10 个面板、8 个 key,跑到一半就停了

典型的开发场景:Claude 4 写代码最强但贵;Grok/DeepSeek/GLM 各有免费层;某个晚上额度用光,下次开 Coding Agent 才发现。OmniRoute 的作者 Diego Souza 把这件事在 README 标题句里直接命名:「Never stop coding」。

OmniRoute 的解法是把「订阅 → API Key → 廉价模型 → 免费层」四级按 健康/额度/成本/延迟/会话可用性 等 15 个因子打分,自动 fallback。客户端只要指 http://localhost:20128/v1,调 model=auto 即可。

项目是什么:MIT 的开源 AI 网关 + 客户端 Agent SDK

一句话描述(README 原文):「Never stop coding. Free MIT AI gateway: one endpoint, 352 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax」——但 README 还在快速迭代,最新自报 354 providers

技术栈:100% TypeScript + Next.js 16 + React 19 + Tailwind 4,better-sqlite3 + LowDB 双存储,Zod 4 做 API 契约,MCP(stdio / HTTP / SSE)+ A2A v0.3(JSON-RPC 2.0 + SSE)双协议。Node 24+ LTS 跑服务端,单进程同时 serve Dashboard 与 API(同一端口 20128)。

核心能力:四项差异化

下面四项是与 OpenRouter / LiteLLM / CLIProxyAPI / 9router 同台时OmniRoute 单独亮出来的差异化:

能力OmniRoute 的做法(README 原文摘)
免费额度调度目录聚合 444 条 free-tier entries、34 个 recurring pool keys,对共享池自动去重,HUD 上 /dashboard/free-tiers 实时扣量
路由策略19 种 combo 策略(priority / fill-first / weighted / round-robin / p2c / least-used / random / cost-optimized / headroom / reset-window / cache-optimized / lkgp / auto / fusion 多模型融合+裁判 / pipeline 串联…)
上下文压缩12 引擎管线:RTK + Caveman 叠加默认 89.2%(区间 78–95%);另有 LLMLingua-2/Ultra/OmniGlyph;引擎皆可按 combo 调
客户端兼容/v1 提供 OpenAI + Anthropic + Gemini 兼容;MCP 暴露 110 工具给 Agent;CLI 直接接管 Claude Code/Codex/Cursor/Cline/Copilot 等 36 个工具

更狠的是它已经做完了一个 Auto-Combo:你不用手工把 5 个 provider 串起来,OmniRoute 按 15 因子实时打分,自动产出一条虚 combo。这是它和同类最大的工程差异:少配置。

上手:README 原文三条命令

作者官方 Quick Start:

# 1. 全局安装 + 一行启动(npm 包名:omniroute)
npm install -g omniroute
omniroute

# Dashboard: http://localhost:20128
# API:      http://localhost:20128/v1

# 2. 验证 auto 路由(无需 key,无需注册)
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'

# 3. 一键接管 36 个 Agent CLI(不用改配置文件)
omniroute run codex  --model glm/glm-5.2
omniroute run claude --model openai/gpt-5.4
omniroute configure codex   # 交互式选 provider+model

Docker 也是一句:

docker run -d --name omniroute --restart unless-stopped \
  -p 127.0.0.1:20128:20128 \
  -v omniroute-data:/app/data \
  diegosouzapw/omniroute:latest

# Coding Agent 场景建议显式给更大堆(README 警告:默认 1GiB 会 OOM)
-e OMNIROUTE_MEMORY_MB=8192 --memory=10g

真实坑:从 README 里抠出来的几件重要的事

我的判断:适合谁、不适合谁

适合:同时跑 2 个以上 Coding Agent(Claude Code + Codex)、或想白嫖多个免费层来熬到月底、或把免费额度当多模型 A/B 跑 eval 的人。不适合:只用单一 provider(GPT/Anthropic 直连更省心)、不想本地多跑一个 Node 进程、不接受任何第三方 SDK 触达你 LLM 流量的隐私敏感场景。

数据脚注

仓库地址:github.com/diegosouzapw/OmniRoute(默认分支 release/v3.8.51)

许可证:MIT("MIT" badge + LICENSE 文件)

Star:63,848(今日 +591);Forks:8,947;默认分支 8,361 commits;最新提交 2026-09 月内

今日 Trending 名次:第 11 位(GitHub trending 页面数据)

提供商数:354(README roadmap 表),免费 150+ 标注 hasFree:true

月免费 token 预算:~1.47B(pool-deduped,去重后的实时测算;每月两次复核)

压缩节省:RTK + Caveman 叠加默认 89.2%(区间 78–95%)

抓取时间:2026-09-10 21:36 GMT+8

下期预告:rohitg00/ai-engineering-from-scratch(53k star,AI 工程实战学习库;看 README 与本期「多 provider + 智能路由」形成互补视角)。

GitHub 趋势 · 第 24 期

#OmniRoute

#MIT

#AI网关