根据 AI 的发展趋势,有没有必要自己在本地跑大模型? - V2EX
7eurvQrEtS

根据 AI 的发展趋势,有没有必要自己在本地跑大模型?

  •  
  •   7eurvQrEtS May 16, 2024 2445 views
    This topic created in 730 days ago, the information mentioned may be changed or developed.

    现在各个 AI 服务相关的公司都有越来越快、准、稳的 AI 服务(更好的模型可能是有次数限制的),在这种情况下,有必要自己在本地搭建模型吗?

    简单总结了本地部署的优缺点:

    优点:

    • 数据安全性和隐私性
    • 响应速度更快
    • 没有次数限制
    • 可自己定义模型

    缺点:

    • 需要硬件支持
    • 噪音问题
    • 电费

    如果需要需要互联网访问,还存在以下问题:

    • 需要有公网
    • 网络安全问题

    目前设备是 MacbookPro intel ,各个提供商的 AI 已经够我用了,但是考虑到以后的发展趋势,需不需要自己跑大模型?

    如果要本地跑,那么应该就是换成 MacbooPro M3 Max 48G 内存的。

    如果不本地跑,那么可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机。

    想咨询一下大家的意见,请问各位的建议是什么?

    8 replies    2024-05-16 18:12:45 +08:00
    dallaslu
        1
    dallaslu  
       May 16, 2024
    本地模型未必「响应速度更快」
    murmur
        2
    murmur  
       May 16, 2024
    除非有破除禁忌的需要,绝大多数人用本地模型都不如商业模型
    murmur
        3
    murmur  
       May 16, 2024
    你都用 macbook 了还说什么公网和网络安全,不是搞笑么,你要说纯国产系统、内网开发,弄个局域网大模型还有点实际价值
    NoOneNoBody
        4
    NoOneNoBody  
       May 16, 2024
    跑不动
    尤其那些“8G 够用”的机器
    7eurvQrEtS
        5
    7eurvQrEtS  
    OP
       May 16, 2024
    说反了,
    如果不本地跑,那么应该就是换成 MacbooPro M3 Max 48G 内存的。
    如果要本地跑,可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机
    xe2vherd
        6
    xe2vherd  
       May 16, 2024
    灰色行业的应用肯定都是本地部署 AI 模型的
    ZXiangQAQ
        7
    ZXiangQAQ  
       May 16, 2024
    跑本地模型当然更好,但是性能跟不上啊,本地跑跑小模型应该够用,但是 MacbookPro 和英伟达的高端显卡还是存在非常显著差距的
    7eurvQrEtS
        8
    7eurvQrEtS  
    OP
       May 16, 2024
    看来只需要 48G 的 mbp 就够用了,谢谢各位~
    About     Help     Advertise     Blog     API     FAQ     Solana     883 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 20:37 PVG 04:37 LAX 13:37 JFK 16:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86