请教，关于显卡内存

苹果统一内存，咔咔整

ROG 在今年 CES 上发布的幻 X 着重就讲了这点，128G 统一内存可以分配给核显跑模型

strix halo 了解一下？

瓶颈在内存性能，每生成一个 token 都要扫一次，普通内存不行

2080ti 22g 魔改版 2200 元

用 deepspeed offload 到 cpu(内存)，甚至可以 offload 到硬盘；使用 bf16 混合精度；还可以用 bitsandbytes 量化到 8bit 和 4bit 。

14b 模型 lora 微调，用 deepspeed offload 到内存和直接跑对比，速度差了一倍。如果能接受就还可行。

可行,意义不大, 会导致频繁的内存-显存交换, wsl2 好像早就可以了, 搜索 NVIDIA shared memory

你是不是在找：Mac Studio

验证原型？验证什么原型。。。

喜欢玩 LLM ，买 mac

可以，但是慢，受限于内存到 GPU 之间的内存带宽，慢到几乎没有可用性。GPU 根本跑不满的程度。

理论上应该可以给核显 32G 内存；更高就不清楚了；
最近才发现笔记本 64G 内存，有 32G 标记为显存；
而通过 intel python 环境（有 win 版的），应该可以吧。还没验证。自己的是 12 代 U i7 ，DDR4 。动力不大。

至于什么验证模型，推理模型不如直接用国内平台提供的。无需折腾运行环境。

共享显存（也就是你说的情况）：显存性能太差
洋垃圾计算卡：算力不高，功耗太高
魔改显卡：价格贵，稳定性堪忧

显卡有个指标叫运算强度，指 1B 数据加载到计算单元时间内，计算单元可以执行的计算次数，如果用主存或者硬盘来传输，你会发现远远摸不到这个指标

@joynvda
理论上应该可以给核显 3 验证模型，推理模型不如直接用国内平台提供的

谢谢，使用第三方平台确实有考虑，但是在联调中希望先确认模型可用，
比如手上有 5 个模型，根本不知道哪个质量好，希望先本地验证可用，再用平台的去跑。
主要是觉得这样方便。

@Boyang
感谢，我也关注 幻 X 看看（如果笔记本便携又可以跑本地模型，感觉非常理想）

ROG 在今年 CES 上发布的着重就讲了这点，128G 统一内存可以分配给核显跑模型

@Remember
strix halo 这个好像也是个选择，不知道是不是和 幻 X 同个路线。

@MacsedProtoss @plasticman64
谢谢了，只是 Mac Studio 暂时不考虑。

其他各位的经验，也谢谢分享。

也许可以尝试下 Ollama/llama.cpp ，没有显卡但是有高性能 CPU 纯 CPU 推理只要有足够的许多模型都能够运行的，特别是对于激活参数较小的 MoE 模型（比如 Deepseek ）。
在我的环境下（ R9 7945HX + 96G RAM ） Deepseek-v2.5-1210 IQ2_XS 能有几到十几的 TPS ，奈何没有更大的内存，我觉得只要有 256G RAM Q4_0/Q4_K_M 也许也是没有问题的。
在 X 上也有人纯 CPU 成功运行起来了 Deepseek-v3 而且似乎还不错： https://x.com/nisten/status/1877276141905387565

@abc634 幻 x 搭载的就是 stx halo ，号称 128G 内存可以分 96 给显卡。

@mili100 感谢经验分享。
看起来是不错的主意，但是 需要比较强的代码能力？
我这边主要偶尔要测试下 Hugging Face 的模型，我暂时还不清除当这些模型要求使用 cuda 的时候，怎么去改造成使用 Ollama ，感谢提供了一个新的思路。

@abc634 你是指用 ollama offload cpu 推理？ 其实可以都做 拉 docker 选 cuda tag num_gpu 指定使用 gpu 数量 这样可以随时切换