V2EX tclm 的所有回复 第 1 页 / 共 2 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    tclm    全部回复第 1 页 / 共 2 页
回复总数  29
1  2  
疫情期间的开门提醒设备生产多了?清库存?
看的我目瞪口呆的,你真信了?!那祝你成功!
198 天前
回复了 heiya 创建的主题 程序员 对搭建 MinIO 对象存储的一些疑问
我以前采取的是 OSS+CDN 替换本地自建 MinIO ,主要带宽成本太高,而且容易成瓶颈,自己的运维硬件还要考虑容灾,多备,还不如全走云。
肉身出去了?
310 天前
回复了 DavidG 创建的主题 职场话题 失业半年,分享下人生低谷期
你这也没失业啊?!
2024-09-06 09:15:18 +08:00
回复了 izzy27 创建的主题 程序员 独立开发好做吗?
@ruobingm 叫私域
2024-07-04 11:02:46 +08:00
回复了 zzzyk 创建的主题 程序员 推荐个 mini 主机,开发用
正在用天钡 gem12 8845hs / 散热很好 / 家用场景下 WIFI 够用 / 正常使用没声音
2024-06-20 13:37:42 +08:00
回复了 qviqvi 创建的主题 数据库 两个线程一起从表中取数据,表和 sql 如何设计呢?
主键是数值吗?确定只有两个线程吗?
如果都是的话,一个线程只处理单数,一个线程只处理双数。
我觉得吧,国内搞大模型除开那几家头部,可能是真下成本在搞。其他的都是套壳忽悠钱,他们不在乎你会做什么,在乎的是你的背景能不能帮他忽悠。
2024-05-15 17:39:33 +08:00
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@mkdirmushroom

嗯,感谢,那纯 CPU + 内存 进行 70B 模型推理还是很勉强的事情.
2024-05-11 17:02:53 +08:00
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@tclm
@mkdirmushroom

主要是推理效率,也不能太慢对吧,如果 CPU 跑不了 70B 的话,那内存的预算其实可以削减下来.
2024-05-11 16:59:11 +08:00
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@tclm
@mkdirmushroom

内存是 96G ( 48G 5600Hz * 2 )

我主要担心的是 8845HS 在内存足够的情况下,处理器性能是否满足 70B 的推理要求。
2024-05-11 16:38:21 +08:00
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@mkdirmushroom

老哥,配的多少内存,我准备搞一台 8845HS (或 Utral5 125H )+ 96G ( 48G 5800Hz * 2 ) 来跑 70B 的模型,只做本地推理,按你的经验,有搞头吗?
这个合同违法了,无效合同,建议 2N 。
不是很好的实践。
1  2  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2213 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 33ms UTC 16:07 PVG 00:07 LAX 09:07 JFK 12:07
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86