有没有一个通用的项目,可以使用 openai 协议兼容了包括 anthropic 、gemini 、google 、azure 等等各家的协议?服务内部实现 openai 协议向各个模型协议的转换,外部对接都是 openai 协议。
公司内现在有很多的模型平台,我都是手动做了类似 openai-sdk --> anthropic-sdk 的转换。我自己在用的 aihubmix 是基于统一的OpenAI API 协议。
请教有没有类似的开源项目 or sdk ?
1 2han9wen71an 116 天前 ![]() 关键字:newapi |
2 grfdwerwe 116 天前 ![]() 或者 oneapi ? |
![]() | 3 SingeeKing PRO ![]() |
![]() | 4 since2021 116 天前 ![]() portkey 挺好的 |
![]() | 5 neteroster 116 天前 via Android ![]() new-api ,要是你觉得太重了也可以考虑下面这个 https://github.com/yym68686/uni-api |
![]() | 6 yechentide 116 天前 via iPhone ![]() LiteLLM, Requesty 。个人推荐前者,可以私有部署 |
![]() | 7 StarUDream 116 天前 ![]() 这个就符合你说的: https://github.com/BerriAI/litellm 如果还需要记录大模型的请求和响应,可以再集成 https://github.com/langfuse/langfuse |
![]() | 8 xiaochena 115 天前 ![]() 不知道 https://ai-sdk.dev/ 是否符合你的需求 |