自己写了一个轻量的 AI 网关, 感觉适合拼车用户, 拿来分享一下

请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 38 days ago, the information mentioned may be changed or developed.

本来是给自己做的, 前两天公司内网需要一个, 就给开源了.

主要用途是管理众多大模型提供商, 提供二次分发的 ApiKey. 附带 OpenAI 和 Anthropic 协议互转能力.

网上有同类的产品, 但是觉得都比较重, 不适合个人用户部署.

项目地址: https://github.com/lx0758/AI-Gateway

最重要的: 各位大哥们, 求个 Star 啊!!!

网关

大模型

开源

11 replies 2026-04-29 20:55:58 +08:00

LRWF

Apr 5

看着还行，已 star ，跟其它同类项目相比，有什么特别的优势不？

ezioswj

Apr 5

star 学习学习，最近才开始研究这方面，感觉我有点慢了/(ㄒoㄒ)/~~

FakerLeung

Apr 5

octopus ？

vonsdite

Apr 6

我也来一个： https://github.com/VonSdite/LLM_Proxy

- 支持一个上游对接多个下游（当前还是 1:1 ，正在修改）。比如上游 openai 接口，下游可对接 openai_chat\claude\codex 协议客户端
- 支持 Hook 扩展，有些 provider 需要 cookie 或者 token 才能访问，并且需要动态更新，这个时候可以写 hook 来扩展，hook 有 header_hook 、request_guard 、response_guard ，后面两个 guard 可以来做内容检测
- 支持白名单控制用户管理，不开的时候所有 IP 均能访问，开了之后只有允许的 IP 才可访问 provider ，支持对模型粒度的用户控制
- 支持 Provider 设置多个 api key 的策略，可控制单独 key 的使用量、请求数等

lcry2023

Apr 6

和 new-api 和 one-api 这类区别是？

lx0758

Apr 6

@LRWF
@lcry2023
不是很清楚呢, 市场上我就看了下 OneApi, 都太重了. 我只希望有 API 转发就好.
目前我搞这个可以说非常轻量, 因为也没有啥功能, 部署之后只占用 25MB 内存的样子...
正在做 MCP 的转发.

3573535

Apr 7 via iPhone

@lx0758 来个 cloudflare 版本的。哈哈哈

xiaoz

Apr 7 via Android

其实 Bifrost 比较轻量:https://blog.xiaoz.org/archives/22835 ，golang 开发的，支持负载均衡，故障转移。

daimaosix

Apr 29

@xiaoz 这玩意我用了一段时间，非常难用，功能大部分受限，当然我自己用也用不到那些功能，但是基本的功能都不能保障

xiaoz

Apr 29

@daimaosix #9 ，我用着还行啊，你指的基本的功能都不能保障是？

daimaosix

Apr 29

@xiaoz #10 我经常给虚拟 key 切换供应商，切换的供应商是正常可用的，它老提示找不到有效的 key ，重装了又好了，资源占用确实挺低的，性能也可以，就是 bug 太扯了，我现在换了之前的了，内存占用多点，但是用起来起码没问题。而且 Bifrost 用不了中转站的 Gemini ，我已经试过好几个了，Gemini 各种问题通不过校验。