这是一个创建于 1017 天前的主题，其中的信息可能已经有所发展或是发生改变。
相信大家都已经下载了 LLaMA 的模型来玩了，我今天也玩了一下，效果其实和想象的差很多。
运行环境： GPU: RTX 4090 Weight: LLaMA-7B 在默认 FP16 下运行，会占用 22GB 左右的显存
总结：英文补全勉强能看，但好像还是挺差的，中文补全直接胡言乱语，和 GPT-3 相距甚远，可能还要作为模型基础继续针对训练，对普通用户来说基本没什么可用性，毕竟有一张至少 24G VRAM 的 GPU 就挺难了
 | 1 Wenbobobo 2023-03-05 19:47:46 +08:00 via Android |
 | 2 yzlnew 2023-03-09 08:17:33 +08:00 via Android 你跑一个 7B 的怎么可能会行啊？ |
| 4 yzlnew 2023-03-09 19:10:54 +08:00 @ByteCat GPT-3 级别的大模型推理目前标配需要 8*A100 才有比较合理的延迟。不然只能借助各种 offloading 的优化方案。 |
 | 5 18601294989 2023-04-12 15:23:28 +08:00 13b 啊 |
Select Language