这是一个创建于 486 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前玩 8b 左右的，在电脑上用 llama.cpp 跑，还流畅。
然后越玩越大，35b 、70b 、120b
要么直接跑不起来，要么几十分钟生成
要求除了能跑各个知名的开源大模型，比如 qwen2 ，还要能跑 cohere 之类稍冷门的
因为后面可能要生产部署，最好得是国内的。
体验和生产部署分开也行。
目前看，微调的可能行不大。不需要支持微调或者自定义。简单地说：有 api 调就行。
不知道 huggingface space pro 、colab(pro)、openrouter 之类能否满足需求？br />还是说需要 vps 型的？
然后越玩越大，35b 、70b 、120b
要么直接跑不起来，要么几十分钟生成
要求除了能跑各个知名的开源大模型，比如 qwen2 ，还要能跑 cohere 之类稍冷门的
因为后面可能要生产部署，最好得是国内的。
体验和生产部署分开也行。
目前看，微调的可能行不大。不需要支持微调或者自定义。简单地说：有 api 调就行。
不知道 huggingface space pro 、colab(pro)、openrouter 之类能否满足需求？br />还是说需要 vps 型的？
 | 1 wencan OP 另外有时生产环境可能有信息安全的要求。考虑到信息安全，估计得自己部署了，有什么高性价比的解决方案？ |
 | 2 bkdlee 2024-06-11 08:29:33 +08:00 模型越来越大，只能通过硬件解决。 我用的是 ollama 加 AnythingLLM |
 | 4 paopjian 2024-06-11 09:25:24 +08:00 最实惠的是 2080ti 22g,不过没有保修,再好点是 4090,但是游戏卡可能不太适合长期运行. A100 40g 的 3.7 万, 80g 的 14 万不值得了, L40 48g 4.2 万, L40s 48g 5.6 万感觉不错. 其他的 H100 什么的就别想了. |
 | 5 yiios 2024-06-11 09:52:15 +08:00 @wencan 显卡 2080ti 22g * 4 ，准系统超微 7048 。一万五以内搞定，可以高上下文跑 72b 量化模型，token 20 个每秒。 |
 | 6 Springmvc 2024-06-11 10:09:56 +08:00 4 卡 amd mi100 可以一战 32*4 GB 显存 + epyc4000 |
Select Language