一、什么是 AI 网关AI 网关是一个统一入口位于用户/应用与多个大模型供应商之间提供路由分发— 一个 OpenAI 兼容端点接入多家模型统一管理— API Key 管理、访问控制、额度分配可靠性— 自动降级、重试、负载均衡成本控制— Token 压缩、免费 tier 聚合、计费审计安全合规— PII 脱敏、注入检测、格式转换二、市场全景图第一梯队纯网关OpenAI 兼容项目语言Star定位活跃度One APIGo~25k国内最早的开源网关⏸️ 停滞New APIGo~50kOne API 演进版国内企业首选 活跃Portkey AI GatewayTypeScript~7k国际主流有云服务 活跃LiteLLMPython~15k轻量级 Python 网关 活跃OmniRouteTypeScript~13k个人省钱神器免费 tier 聚合 活跃第二梯队带 AI 原生能力的基础设施项目定位特色OpenClaw个人 AI 助手框架Agent 多通道消息 MCP 生态DifyLLM 应用开发平台可视化工作流 RAG AgentFastGPT知识库问答平台国内版专注知识库LobeChat现代化 LLM 聊天前端多模型聚合 插件生态第三梯队商业产品产品公司定位Cloudflare AI GatewayCloudflare全球 CDN 边缘 AI 网关Google AI GatewayGoogle CloudGCP 生态集成Amazon BedrockAWSAWS 原生 AI 网关Azure AI GatewayMicrosoftAzure 生态集成三、企业级网关深度对比3.1 New API国内企业首选GitHubhttps://github.com/Calcium-Ion/new-api文档https://docs.newapi.pro语言Go衍生路线One API → New API维度能力✅ 多用户/分组完善支持角色权限✅ 计费系统内部充值、按量计费、缓存计费✅ 兑换码/充值批量生成、导出✅ 格式互转OpenAI ⇄ Claude ⇄ Gemini双向转换独家✅ 国内供应商覆盖最全DeepSeek、豆包、通义千问、文心、智谱、360、混元…✅ OIDC/SSO飞书、Discord、Telegram、LinuxDO✅ 多机部署主从架构 Redis✅ 多模型Midjourney、Suno、Dify、Rerank❌ Token 压缩不支持❌ Guardrails不支持❌ 免费 tier 聚合不支持❌ MCP 管理不支持3.2 Portkey AI Gateway国际标准GitHubhttps://github.com/Portkey-AI/gateway网站https://portkey.ai部署npx portkey-ai/gateway维度能力✅ 模型覆盖1600 模型、45 供应商✅ Guardrails50 预置审核规则可自定义✅ 负载均衡加权分发、自动重试、降级✅ 监控分析实时请求量、延迟、成本、错误率✅ MCP Gateway企业级 MCP 管理认证、访问控制、审计✅ 智能缓存响应缓存减少重复请求✅ 合规认证SOC2、HIPAA、GDPR、CCPA✅ 云服务免部署开箱即用❌ 国内供应商覆盖少❌ 格式互转不支持❌ Token 压缩不支持❌ 计费系统仅企业版3.3 LiteLLMPython 生态首选GitHubhttps://github.com/BerriAI/litellm定位100 供应商的 Python SDK 代理服务器维度能力✅ Python 原生LangChain、LlamaIndex 深度集成✅ 快速部署pip install litellm即可使用✅ 模型覆盖100 供应商❌ 企业功能有限无内置计费、审计❌ 国内供应商覆盖少3.4 One API老将已停滞GitHubhttps://github.com/songquanpeng/one-api状态不再活跃开发推荐迁移至 New API维度能力✅ 基础路由OpenAI 兼容格式✅ 用户管理基础分组✅ 兑换码支持❌ 格式互转不支持❌ 活跃开发⏸️ 停滞3.5 OmniRoute个人省钱神器GitHubhttps://github.com/diegosouzapw/OmniRoute网站https://omniroute.online语言TypeScript维度能力✅Token 压缩RTK Caveman 叠加15–95%行业最强✅免费 tier 聚合每月约16 亿免费 token11 个永久免费供应商✅ 模型覆盖237 个供应商90 免费✅ 路由策略17 种优先级/加权/成本优化/Fusion 等✅ 4 层自动降级订阅 → API → 廉价 → 免费永不中断✅ 配额公平共享多人共用一个账号公平分配✅ 内置 MCP95 个工具✅ A2A 协议Agent 互联❌ 企业计费不支持❌ 格式互转不支持❌ 国内供应商部分❌ 多用户管理不支持四、完整功能对比表特性New APIOne APIPortkeyLiteLLMOmniRoute多用户/分组✅✅✅✅*⚠️❌计费/审计✅✅✅✅*❌❌兑换码/充值✅✅❌❌❌OIDC/SSO✅ 多平台✅ 3种✅*❌❌OpenAI 兼容✅✅✅✅✅格式互转✅ 独家❌❌❌❌Token 压缩❌❌❌❌✅95%免费 tier 聚合❌❌❌❌✅16亿/月Guardrails❌❌✅ 50❌✅ 基础MCP 管理❌❌✅❌✅国内供应商✅ 最全✅ 全⚠️ 少⚠️ 少⚠️ 部分模型总数100501600100237部署方式DockerDockernpm/Dockerpipnpm/Docker合规认证❌❌✅ SOC2等❌❌开发语言GoGoTypeScriptPythonTypeScript✅* 企业版功能五、选型建议场景 A国内企业内部用 ✅最推荐 New APINew API ← 用户管理 / 计费 / 格式互转 / 国内供应商最全适合需要给团队成员分配额度、做内部分摊成本、对接国内各大模型场景 B国际团队 / 需要合规 ✅推荐 PortkeyPortkey ← Guardrails / 合规认证 / MCP 管理 / 云服务适合面向海外、需要 SOC2/HIPAA 合规、喜欢云服务省心场景 CPython 技术栈 / 快速原型 ✅推荐 LiteLLMLiteLLM 你的 Python 后端适合Python 团队与 LangChain/LlamaIndex 配合使用场景 D个人开发者省钱 ✅推荐 OmniRouteOmniRoute ← 免费 tier token 压缩最省钱适合独立开发者用 Claude Code / Codex / Cursor场景 E全栈 All-in-One ✅组合方案New API企业网关管理 Dify工作流/应用 LobeChat 或 Cherry Studio前端聚合场景 F基于 One API 的旧系统 ✅迁移至 New APIOne API → New API数据库完全兼容零成本迁移六、国内常见部署案例以下服务均基于New API或One API改造部署站点基于coremind.msxf.com微盛金融New API各大企业内部分发平台New API / One API七、未来趋势MCP 标准化— AI 网关将内嵌 MCP 管理能力统一 Agent 工具调用A2A Agent 互联— 网关不再只是路由请求而是 Agent 之间的通信枢纽边缘 AI 网关— Cloudflare 等 CDN 厂商正在将 AI 网关推向边缘节点合规与安全深化— Guardrails / PII 脱敏 / 审计日志将成为标配Token 优化成为核心竞争力— 压缩技术从锦上添花变成必选项八、参考链接项目链接New APIhttps://github.com/Calcium-Ion/new-apiOne APIhttps://github.com/songquanpeng/one-apiPortkey AI Gatewayhttps://github.com/Portkey-AI/gatewayLiteLLMhttps://github.com/BerriAI/litellmOmniRoutehttps://github.com/diegosouzapw/OmniRouteDifyhttps://github.com/langgenius/difyLobeChathttps://github.com/lobehub/lobe-chatCloudflare AI Gatewayhttps://developers.cloudflare.com/ai-gateway/