New API 自建大模型网关：一套 OpenAI 格式接口接 Claude/Gemini/国产模型

多模型 API 不统一的问题

现在用大模型，最直接的问题是模型太多，API 格式不统一。

用 GPT-4 要调 OpenAI 的 API，用 Claude 要调 Anthropic 的 API，用 Gemini 又是另一套。国产模型同样如此：通义千问、文心一言、智谱 GLM、DeepSeek、Kimi，每家都有自己的 API 和 Key，格式也不一样。

个人开发者本地写小项目，装几个 SDK 还能凑合。但在产品里同时接多个模型，或者公司内部有十几条业务线都要用 AI，每个模型单独对接就会变成维护负担：Key 散落在各处，成本算不清楚，格式要逐个转换，限流策略各不相同。换个模型要改代码，加个模型还要改代码。

New API 就是为解决这个问题做的。

New API 是什么

New API 是一个统一的大模型网关，目标是让你用同一套接口访问所有模型。它基于 One API 二次开发，功能和 UI 都有较大扩展。

项目信息：

核心能力包括：

• 统一接入：OpenAI、Claude、Gemini、国产模型等，一个接口接入。
• 格式转换：OpenAI 格式和 Claude 格式互转，调用代码不用改。
• 成本核算：按模型统计费用、token 用量。
• 智能路由：多通道负载均衡，失败自动重试。
• 权限管理：组织、用户、Token 三级权限控制。

为什么需要 New API

在 New API 之前，管理多个模型通常有几种方式。

方式一：每个模型单独对接。
最原始的方式。每个模型写一套调用代码，Key 散落在配置文件里。模型一多，代码和配置都会变乱。

方式二：用 LiteLLM。
LiteLLM 是 Python 写的多模型方案，支持范围广。但 Python 实现的性能一般，部分高级功能比如组织级权限不够完善。

方式三：用 Bifrost。
Bifrost 是 Go 写的，性能好，但功能相对简单，UI 也没有 New API 完整。

New API 的优势主要在：

1. Go 实现：性能比 LiteLLM 好。
2. 功能全面：权限、成本、路由、缓存都有。
3. UI 现代：管理界面操作方便。
4. 生态活跃：社区更新快。
5. 兼容 One API：数据完全兼容，迁移成本低。

核心功能拆解

统一接入：一套接口访问所有模型

这是 New API 最核心的功能。

调用方不用关心上游模型是什么格式，统一按 OpenAI 兼容格式请求即可。New API 会自动转换成目标模型的格式：

你的应用 → OpenAI 格式 → New API → 转换成 Claude/Gemini/国产模型格式 → 对应模型 API。

支持的模型包括：

接口方面，Chat、Image、Audio、Embedding、Rerank、Realtime 都支持。

格式转换：不用改代码

如果代码原本按 OpenAI 格式写，但想切到 Claude，以前需要改代码。New API 支持格式互转：

• OpenAI ⇄ Claude Messages
• OpenAI ⇄ Google Gemini（文本部分）
• OpenAI ⇄ OpenAI Responses（开发中）

只需要在后台配置路由，调用代码不用改。

成本核算：每个模型花了多少钱

企业用 AI，成本需要可控。New API 的成本核算包括：

• 按请求计费：每次调用花了多少钱。
• 按用量计费：输入、输出分别用了多少 token。
• 缓存命中计费：OpenAI、Claude、DeepSeek 的缓存命中也有统计。
• 组织级统计：哪个部门、哪个项目花了多少，可以在后台查看。

后台提供统计报表，能看到哪个模型用得最多、哪个部门消耗最高。

智能路由：多通道负载均衡

如果有多个 Claude Key，New API 可以自动做负载均衡。

它还支持加权随机：性能好的通道权重高，性能差的权重低。

失败自动重试：某个通道不可用时，自动切换到下一个通道。

另外还有用户级限流：给不同用户设置不同的调用频率限制，防止滥用。

权限管理：组织、用户、Token 三级控制

企业场景下，权限管理是必要功能。New API 的权限模型分三级：

1. 组织（Organization）：最顶层，比如一个公司。
2. 用户（User）：组织下的用户。
3. Token：用户创建的 API Key。

每一级都可以设置：

• 能用哪些模型
• 能用多少额度
• 能调用多少次

这样可以做到细粒度权限控制。

推理力度控制

对于支持“思考”的模型，比如 o3-mini、Claude thinking、Gemini 2.5，New API 允许通过模型名控制推理力度：

# OpenAI
o3-mini-high    # 高强度推理
o3-mini-medium  # 中等强度
o3-mini-low     # 低强度

# Claude
claude-3-7-sonnet-20250219-thinking  # 启用思考模式

# Gemini
gemini-2.5-flash-thinking            # 启用思考
gemini-2.5-flash-nothinking          # 禁用思考

不用改代码，改模型名即可。

架构设计

New API 的架构分层比较清晰：

• 前端：React + Ant Design，现代化 UI，支持多语言。
• 后端：Go + Gin，核心模块包括认证、路由、计费。
• 数据层：支持 MySQL、PostgreSQL、SQLite；Redis 用于缓存。
• 多机部署：所有节点共享同一个数据库和 Redis，Session 会自动同步。

实际使用场景

场景一：企业 AI 中台

公司有多个业务线，每条业务线用不同模型。用 New API 建一个 AI 中台，每个业务线是一个组织，分配不同 Token。每个组织能看到自己的成本，后台能看到总成本。

场景二：AI 产品开发

做一个 AI 产品，想让用户自己选模型。后端用 New API，前端只调一个接口。用户选 GPT-4 还是 Claude，后端自动路由到对应模型。

场景三：API 转售

有多个模型的 Key，想转售给其他人。用 New API 搭建平台，用户可以充值、购买 Token、调用 API。成本核算和权限管理由系统处理。

场景四：模型评测

想对比多个模型效果，但每个模型格式不同。用 New API 统一接口，代码只写一遍，切换模型只需要改配置。

快速开始

Docker 部署：

# 使用 SQLite（最简单）
docker run --name new-api -d --restart always \
  -p 3000:3000 \
  -e TZ=Asia/Shanghai \
  -v ./data:/data \
  calciumion/new-api:latest

# 使用 MySQL
docker run --name new-api -d --restart always \
  -p 3000:3000 \
  -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" \
  -e TZ=Asia/Shanghai \
  -v ./data:/data \
  calciumion/new-api:latest

也可以用 Docker Compose：

git clone https://github.com/QuantumNous/new-api.git
cd new-api
docker-compose up -d

部署完成后，访问 http://localhost:3000，默认管理员是 root，密码 123456。

然后：

1. 添加渠道：配置模型 Key，比如 OpenAI、Claude 等。
2. 创建用户：给用户分配额度。
3. 创建 Token：用户用这个 Token 调用 API。

与类似方案对比

New API 的优势是功能全面、UI 完整、社区活跃。需要注意的是 AGPL 协议，企业使用时要评估开源义务。

局限性

New API 也有局限：

• AGPL 协议：如果要二开但不想开源，需要联系官方购买商业授权。
• 功能多，学习成本：权限、路由、计费这些模块，新手需要花时间理解。
• 文档不够完善：虽然有官方文档，但部分高级用法还需要看源码或问社区。
• 依赖外部模型：New API 只是网关，模型服务本身仍要自己准备。

适合你吗

New API 适合这些场景：

• 同时使用多个模型，想统一管理。
• 做 AI 产品，需要给用户选择模型的能力。
• 企业需要成本核算和权限管理。
• 搭建 API 转售平台。

如果只是个人开发者，本地用一两个模型，New API 可能偏重，直接用官方 SDK 就够。

小结

New API 解决的是多模型统一管理问题：用统一网关把不同模型 API 收敛到一套 OpenAI 兼容接口，并补齐格式转换、成本核算、智能路由和权限管理。它用 Go 实现，提供完整管理 UI，兼容 One API 数据。管理多个模型时，可以作为备选方案评估。

参考链接：

• New API GitHub
• 官方文档
• One API 原项目