极简分布式开源 AI 网关 - LLM Gateway 测试版 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
sxueck
V2EX    分享创造

极简分布式开源 AI 网关 - LLM Gateway 测试版

  •  
  •   sxueck 2 天前 876 次点击

    最近因为长期使用的 litellm 因为作者迫于盈利压力,把很多原本属于高频常用的功能列为了企业版本专属特性,正好国庆的时候闲下来了,就写了一款基于 Portkey Gateway 实现的 LLM 聚合网关,本来就想随手一写满足自己的需求的,但是后来发现周围的朋友评价都挺好,就打算完善一下正式发布出来,主要面向用户:

    自建服务用户,我将永远不会做企业版,也不会开通打赏等功能 项目由于还是属于我主要在维护和使用,目前不会加入例如组织等功能 目前先完善基础的 LLM 的聚合功能,MCP 和 Claude 协议后续会根据 我的项目地址: https://github.com/sxueck/llm-gateway 项目 Demo: http://demo-api.sxueck.com:3000/ demo / demo1234

    同时我也是 xiaoxhao/lvory 的作者,该项目目前下载量已达 960 次,迭代近 20 个版本,维护周期大家应该是可以放心的

    6 条回复    2025-10-16 17:40:07 +08:00
    xxlsize
        1
    xxlsize  
       2 天前
    这个跟 newapi 比有啥不一样,功能好像没没那么全
    sxueck
        2
    sxueck  
    OP
       2 天前
    @xxlsize 侧重分布式,例如你可以指定 claude 走美国节点,指定 deepseek 走国内
    kknd22
        3
    kknd22  
       22 小时 40 分钟前
    不知日志能记录到什么情况?
    sxueck
        4
    sxueck  
    OP
       15 小时 46 分钟前
    @kknd22 日志截断 content 后存入数据库,ttl 默认 7 天,日志记录过程异步且非原子操作,不做 100%可靠性
    kknd22
        5
    kknd22  
       14 小时 35 分钟前
    @sxueck 其实是想要一个记录日志方便调试和可以修改网络数据的网关程序,现在在自己弄
    另外,您的项目 base url 只能填写 https ,内网用户不太便利。
    其他方面可以参考参考 new-api one-api 这些
    sxueck
        6
    sxueck  
    OP
       14 小时 9 分钟前
    @kknd22 http 的问题校验已修复,更新到了 main ,其他方面暂时先保证稳定性,比如当前日志翻页还有点问题,我之前也是深度网关类型的用户,包括 saas 和 unmanaged 都用过半年以上,目前该项目还是以核心 llm 聚合分发为主
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1219 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 19ms UTC 23:49 PVG 07:49 LAX 16:49 JFK 19:49
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86