ollama 用法跟 docker 很类似，指定 run 哪个模型就会自动去下载使用。
我用我的 1650 笔记本允许 mistral ，跑起来速度还行。
模型列表： https://ollama.com/library
方法： 建议采用 wsl2 运行 ollama ，安装 cuda 后即可利用显卡跑 ollama ，否则会利用 cpu 跑大模型。
wsl2 安装 cuda 直接用我这个链接即可： https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local
 | 1 cwyalpha Feb 28, 2024 1650 显存多少？能跑什么量级的模型？ |
 | 2 ahsjs Feb 28, 2024 嗯嗯，我也用的这个，只能跑小模型，谷歌的 gemma 之类的 |
 | 3 o562dsRcFqYl375i Feb 28, 2024 确实很方便。至于能跑多大的模型主要看机器的硬件配置吧，跟 ollama 这个工具应该没多大关系 |
 | 4 ChaoYoung Feb 28, 2024 同类 LM Studio 可视化相当不错 |
 | 6 Rrrrrr Feb 28, 2024 Macbool air M2 可以跑吗，给个教程 |
 | 7 panxiuqing Feb 28, 2024 Mac 上用 m1 很快。 |
 | 8 luckyc Feb 28, 2024 早就试过, 没有好用的模型. 有更好的推荐吗? |
 | 11 supergeek1 Feb 28, 2024 可以，m1 pro 跑个小模型速度很快 |
 | 12 monsterx2a Feb 28, 2024 它和 docker 啥关系？ 有啥优势吗？ |
 | 13 kwater Feb 28, 2024 ollama 安装后， 跑 17g 模型在 m1 还行，下载速度飞快， 加载首次等待比较久。 ollama run gemma:7b-instruct-fp16 可以自己开多会话 在 内存紧张就选小的 ollama run gemma:7b |
 | 14 dacapoday Feb 28, 2024 主要是它底层的 ggml 库的功劳，作者是个肝帝，移植了大量 开源的 llm 和 权重 |
 | 15 keepRun OP @monsterx2a 跟 docker 没关系，只是使用方式像 docker |
 | 16 McVander Feb 28, 2024 m2 max 运行 gemma:7b 速度飞快 |
 | 17 CyouYamato Feb 28, 2024 手里有台闲置的 4060,目前测试了 gemma 7B ,2B,llama2 。目前来说，2B 快又还不错。搭配 chatbox 还不错。 |
 | 18 kaichen PRO @Rrrrrr #6 到 https://lmstudio.ai/ 下载个客户端，搜索对应大小的模型（ apple silicon 是内存的 3/4 可以作为显存），可以先搜索 qwen gguf 找个合适大小的玩玩看 然后可以直接对话，或者启动一个与 openai api 兼容的 api server |
 | 19 cyp0633 Feb 29, 2024 怎么在我的 1650 笔记本上就用 CPU 跑 mistral-7b... |
 | 20 weilongs Feb 29, 2024 目前在用 m2 pro 跑. 客户端本地使用 chat box. 后面考虑是否搞个 Mac 盒子 穿透玩一下. |
 | 21 skywalkerfc Feb 29, 2024 确实很方便，用公司的 m2 很快，在家用自己的 18 款 intel 就风扇直响 |
 | 23 freedom1613 Mar 24, 2024 本地跑个小模型，用用沉浸式翻译、Openai-Translator 很不错，感谢推荐 |
 | 24 kangfenmao Jul 18, 2024 给你推荐一个支持 Ollama 的本地客户端，可以自动加载 Ollama 下载的模型 https://github.com/kangfenmao/cherry-studio |
Select Language