换机了 mac air m3 24G 512G，开搞大模型

mac 很有优势吗？不是很懂这个，内存是大，但是没显存好使吧？

就是内存架构上有低成本的优势吧，其它什么并行处理应该还够不上吧...

（无意冒犯）累死它也跑不过一张 2080ti

就这功耗，只有人家正经显卡的一个零头，推理性能怎么样可以想象

没有散热风扇，CPU 能行吗

没风扇会降频的

m3/24/512 ，ds 的 14b 一跑，GPU 直飙 108 度

这玩意跑大模型的速度相当于双通道 LPDDR5X-8533 内存

@fruitscandy 。。。这样的话，很快就要用到保修吧？

换 m4 pro 把，内存比 air 快一倍。

@buynonsense 统一内存，内存可当显存使。

@giganet
@hutng
用 Mac Studio M2 64G 的现身说法。
性能确实不够看，但用 Mac 的人搞大模型，估计就是纯粹用来下个 DeepSeek 之类的放本地跑跑。
我也用了 70B 跑，很流畅。秒出答案，速度跟现有的 ChatGPT 差不多。（我在终端问的，没有用 Docker 搭载的 OpenWeb UI ）。

我用了 DS 70B 和 QWQ 32B 测试，70B 稍慢一些但速度也正常，但是因为稍微敏感一点的问题（比如这网站为什么不能访问？）就直接说对不起我在学习。换了 QWQ 32B 测试，速度正常甚至感觉快一些。也能回答这个问题。

至于 GPU 是不是飙到 108 度，可能有风扇，60 度不到？
70B 占 40G 左右内存，32B 仅占满 15 ～ 20G 内存。
问了几个分钟了。

m4 24G macmini ，跑 14b 还行，qwq 32b 速度太慢，就 1-2token/s

现在为啥不等 m4 的 air 啊，马上出货了，性能比 m3 高不少，首发还便宜 1000
另外，24g 的最多跑 14b 了

效果不好，不如调 api 。 m1pro32g 跑 32b 都吃力，6-7token/s

@lifehz 所以不可能把它当大模型推理的生产力工具来用，偶尔玩玩，show 一下可以，真的要用生产还得至少是 Pro 级别的

@KingEast 是的，心急了。实在不行出了这个，再买 m4 的 air 吧

@lifehz 问题不是 m3 的 CPU 性能比 m4 的差，问题在于不管是 m3/m4 air 都没有风扇，真跑会降频。问题在于不管是 m3/m4 air 内存都不够。

最次你也应该上 pro 。。。当然也可以搞 studio 或者 mini 集群的为啥不看看那些捏？

@wclebb 一般 70b 就不错了吧，是不是 M2 的 Studio 64G 就能满足了