开通了 google cloud 的 Vertex API 来使用 Calude - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xywanghb
V2EX    OpenAI

开通了 google cloud 的 Vertex API 来使用 Calude

  •  
  •   xywanghb 2024-07-17 14:27:44 +08:00 2251 次点击
    这是一个创建于 460 天前的主题,其中的信息可能已经有所发展或是发生改变。
    发现 Vertex API 只能通过 API 的形式使用 Claude , 有没有配套的 python 服务和 UI 壳, 想本地搭一个对话页面
    17 条回复    2024-07-22 14:42:17 +08:00
    burndown
        1
    burndown  
       2024-07-17 14:39:03 +08:00
    xywanghb
        2
    xywanghb  
    OP
       2024-07-17 19:35:20 +08:00
    @burndown 这两个我调研了, 好像只支持 google cloud 里面的 gemini 和其他有限的几个, 这几个在 googlecloud 就是支持对话形式的. 但无法用 claude
    taotaodaddy
        3
    taotaodaddy  
       2024-07-18 00:07:37 +08:00
    在官方 web claude3.5 的帮助下,用 flask 或者 fastapi 写一个,很快的
    taotaodaddy
        4
    taotaodaddy  
       2024-07-18 00:08:58 +08:00
    写到一半,就可以用 Vertex API 接着完善了
    有点自举的感觉,虽然不是严格意义上的
    burndown
        5
    burndown  
       2024-07-18 09:22:04 +08:00
    @xywanghb

    都可以自定义 `ANTHROPIC_BASE_URL` 和 `ANTHROPIC_API_KEY`
    对了,你需要这个开源项目 https://github.com/cg-dot/vertexai-cf-workers
    在 Cloudflare 上搭一个代理,把对 Anthropic 的访问重定向到 CF 的代理上
    xywanghb
        6
    xywanghb  
    OP
       2024-07-18 14:11:35 +08:00
    @taotaodaddy 谢谢, 我看看. 我实现了个方案,改了下 chat next web 源代码 简单适配了一下
    xywanghb
        7
    xywanghb  
    OP
    &bsp;  2024-07-18 14:13:57 +08:00
    @burndown 还是很多没直接支持, 可能也是 google cloud 那个认证体系和 API 不适配的原因. 走代理感觉有点复杂, 我自己简单改了下 chat next web 源码 把请求 google 的参数返回值适配了下, 用着还行
    burndown
        8
    burndown  
       2024-07-18 14:28:56 +08:00
    不可能,至少 lobechat 是支持的,CF 上搭架完后,设置完环境变量后就可以在支持自定义 URL 和 API key 的客户端直接使用。我昨天用的没啥问题
    xywanghb
        9
    xywanghb  
    OP
       2024-07-18 15:24:54 +08:00
    @burndown 哥们, 是我的问题,哈哈哈确实可以, 我走的 google 调用 不是 Anthropic , 导致我接了代理请求的入参格式和 vertex ai 不一样,vertex ai api 得走 Anthropic
    taotaodaddy
        10
    taotaodaddy  
       2024-07-21 11:48:10 +08:00
    你们拿到 API key 了吗? 我按文档上说的,用 cloud cli 认证方式,然后指定区域和项目就可以调 API 了,翻了半天文档没提 API key 的事儿...


    @burndown
    @xywanghb
    Baymaxbowen
        11
    Baymaxbowen  
       2024-07-21 21:39:26 +08:00
    @burndown #8 老哥请问这个是什么问题导致的
    "error": [
    {
    "error": {
    "code": 400,
    "message": "Project `837595362612` is not allowed to use Publisher Model `projects/claude-gpt/locations/us-central1/publishers/anthropic/models/claude-3-haiku@20240307`",
    "status": "FAILED_PRECONDITION"
    }
    }
    ]
    已经给了权限了
    xywanghb
        12
    xywanghb  
    OP
       2024-07-22 00:11:56 +08:00
    @taotaodaddy 要下载一个 gcloud 命令行工具
    xywanghb
        13
    xywanghb  
    OP
       2024-07-22 00:13:12 +08:00
    @xywanghb 然后 gcloud init 一下就可以了 你可以直接运行他那个 python 代码看能不能调通, 然后再接入其他 UI web
    taotaodaddy
        14
    taotaodaddy  
       2024-07-22 09:59:22 +08:00
    @xywanghb 我应该就是这么做的,在你发帖之前就可以调用 API 了,并且自己写的 flask 界面
    但是我没有 API_KEY,这意味着不能使用其他人写的 WEB UI
    后来仔细看了一下 5#说的,https://github.com/cg-dot/vertexai-cf-workers,明白了自定义 API_KEY
    burndown
        15
    burndown  
       2024-07-22 14:28:45 +08:00
    @Baymaxbowen model 不对吧,你看 Vertex 里的 model 是啥,客户端调用的是啥?能对应上吗
    Baymaxbowen
        16
    Baymaxbowen  
       2024-07-22 14:33:11 +08:00
    @burndown #15 Claude 3.5 Sonnet ,
    LobeChat 做检测的时候会报这个 400 的错误,但是我还是能正常对话

    burndown
        17
    burndown  
       2024-07-22 14:42:17 +08:00
    @Baymaxbowen 我觉的是 lobechat 检测的时候用的模型写死了,根本没调用你列出来的。所以不用管他
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1638 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 16:25 PVG 00:25 LAX 09:25 JFK 12:25
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86