ollama 推出 windows 版的 preview，可以在本地跑大模型，在老机器上跑感觉效果不错
frankyzf 2024-02-16 09:39:07 +08:00 2427 次点击这是一个创建于 602 天前的主题，其中的信息可能已经有所发展或是发生改变。
ollama 是个可以跑多种大模型的平台，可以跑 lama2, mistral 等。我机器比较老，windows 10 ，32G 内存，只有 2G 显存。但看起来速度还可以接受（ mistral ），下载模型也只需要几分钟。安装完用的 mistral ，即后面这个命令ollama run mistral。当作本地的 code 助手应该比较方便。
 | 1 imzcg2 2024-02-16 10:22:55 +08:00 amd 6800h 80%cpu  |
 | 2 reeco 2024-02-16 11:22:31 +08:00  1 自己编译一下 llama.cpp ，一样的效果 |
 | 4 mumbler 2024-02-16 12:59:17 +08:00 太慢了，没用上 avx2 指令集，我自己编译的比官方快得多 |
 | 5 cwyalpha 2024-02-16 14:19:55 +08:00 via iPhone 楼主跑的时候应该是用的内存不是显存？ |
Select Language