这是一个创建于 418 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在用的台式机是 17 年配的,连 win11 都生不上去. 现在想换代了,想配一台电脑,可以本地搭建 ai. 要求如下: 1.只台式机本身,音响,显示器不需要 2.不需要考虑未来扩展,一个配置 5 年能用就行. 3.本地 ai 不仅要能跑,还需要能用.所以显卡最低不能少于 8g.
另外,还想请教各位,我现在在使用飞书的会议的字幕功能,以及生成总结功能,非常好用. 但是一个月 120 比较贵.如果我配了本地 ai 的话,要实现飞书这样的功能,可能么.
 | 1 Solix 2024-08-17 23:51:54 +08:00 via iPhone  1 至少一张 4090 满血版，其他主板啥的自己看着配，能带起来就行 |
| 2 Solix 2024-08-17 23:53:41 +08:00 via iPhone 1 配完只能说能用，但跑起来不好用，要好用组个 4 ，5 张试试 |
 | 3 RicardoY 2024-08-18 04:04:39 +08:00 1 二手 mac studio ，用来跑大模型性价比极高的选择 |
| 4 RicardoY 2024-08-18 04:06:39 +08:00 1 64G 内存的版本可以本地跑 70b 的模型 |
 | 5 R4rvZ6agNVWr56V0 2024-08-18 04:47:14 +08:00 1 1w 不够，再往上一些。 个人使用，如果使用频率不高的话，本地搭建的成本太高了，还要考虑电费、噪音。 |
 | 6 lookStupiToForce 2024-08-18 07:21:02 +08:00  4 歪路子两个： 1.如果只求跑模型，作图或者 LLM ，有些便宜到可疑的专跑模型的 GPU 选择 不求模型的推理速度快，只求能装进 vram 而不是 load 到内存让 CPU 去跑 可选 GPU： nvidia a2000 12G ，新卡软妹币 3500 左右 nvidia tesla m40/m60/p40...软妹币 500~1500 上下 除了 a2000 丽台还在产，后面的卡市场上鱼龙混杂，基本只能买到拆机卡或者矿卡，而且注意它们还没有视频输出口（ a2000 有 minidp 口） 这些基本只能跑 ai ，不能拿来玩游戏，tesla 卡你还得备上大电源，再拿着专门的风扇/空调对着吹来压温度 反正价格低带来的是往死里折腾 2. 好 U 配大内存（ 64G+ ram ），配张单卡 4060/4070ti 够用就行 因为就算是 llama3.1 70b 这种 39 个 G 的大模型，不降模型精度，单卡就算是 4090 照样不够用，堪称 a100 （软妹币 8W+）之下众生平等（但如果要双显卡，就还是上面 1.的话题了） 而模型一旦 load 一部分到内存，推理时 GPU 的闲置时间百分比直线上升，瓶颈都跑到 CPU 去了。 我之前测试过，llama3.1 70b 原始精度，在 64GB ddr4 3200MHz 内存加持下，cpu 11700K 可以跑出每秒 1.1 个左右的 token ，将就凑合玩儿。所以如果 CPU 好一些，甚至你上双 u 主板/服务器主板让更多的 u 一起跑，那么这种 70b 乃至更大一点的模型也能用（ 3+token/s ）。关键就是，内存要管够 |
 | 7 Admstor 2024-08-18 11:25:11 +08:00 二手苹果 M 系列芯片，不开玩笑 |
 | 8 mmdsun 2024-08-18 16:27:57 +08:00 via iPhone 双显卡机箱，插两张显卡。 大内存。 |
 | 9 JensenQian 2024-08-18 19:56:08 +08:00 本地生成字幕的话挺简单的 whisper ，我 6800H 的核显都能用 总结的话你丢给 chatgpt 总结不就好了，反正都是文字 |
 | 10 jianghu52 OP @JensenQian 我之前也用过 whisper,我只会下载音频下来,然后再传上去.而且不能太大.要分割视频. 据说有本地版的,但是只是提供 api.外面的壳子还是要自己来.而且还是有大小限制.感觉不是很实用. |
| 11 JensenQian 2024-08-18 21:48:02 +08:00 |
 | 12 hiceo 2024-08-19 13:16:30 +08:00 可以参考下这个文章，由多个 mac mini 组成的配置 https://www.53ai.com/news/LargeLanguageModel/2024070296570.html |
.wwads-cn { border-radius: 3px !important; } .wwads-text { color: var(--link-color) !important; }
Select Language