[万字长文] 效率就是一切:并行计算如何重塑 AI 训练与现代应用 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
xiaoshu
V2EX    程序员

[万字长文] 效率就是一切:并行计算如何重塑 AI 训练与现代应用

  •  
  •   xiaoshu 7 小时 40 分钟前 563 次点击

    overview

    这三个看似无关的问题,背后藏着同一条主线:无状态 → 并行计算

    本文分三部分:

    1. 并行已经重塑了什么云计算和 AI 训练的成熟实践
    2. 推理为什么还是串行的自回归生成和思维链到底是怎么回事
    3. 推理并行化的探索方向从学术思路到前沿框架

    overview

    overview

    ...

    从云计算到 AI 推理,一文看懂并行计算的底层逻辑

    《效率就是一切:并行计算如何重塑 AI 训练与现代应用》


    从云计算到 AI 训练,从游戏架构到智能工作流,**"解耦"与"并行"的思维模式**正在改变整个技术世界。

    这不仅是 AI 时代的效率密码,更是构建一切可扩展系统的底层逻辑。

    在微信支付的复盘中,一个影响开发效率十分高频的词就是**"等待"**。

    想想你手头最慢的那段流程不管是写代码、写文档、做运营,还是其他什么慢在"计算",还是慢在"等待别人/等待上一步"?你能把哪一段改成自包含?


    并行的本质不是"同时做很多事",而是"让每件事都不需要等别人"。

    无状态不是没有状态,而是把状态交给别人保管,自己轻装上阵。

    自包含是解耦的终极形态:我只需要知道"做什么",不需要知道"来龙去脉"。

    第 1 条附言    2 小时 48 分钟前

    这篇文章是我基于阅读的书和论文,自己的理解,可能有误。 欢迎大家指出,一块学习!

    也可以公众号留言,我能及时看到

    10 条回复    2025-12-26 17:07:24 +08:00
    rogerer
        1
    rogerer  
       5 小时 59 分钟前
    不是这样理解的吧...

    这里混淆了好几个概念
    sillydaddy
        2
    sillydaddy  
       3 小时 41 分钟前
    感谢 OP 分享。给我提供了一个自媒体素材。
    另外,solana 的底层链,是不是也是类似的原理,可以把它作为“依赖图”这一节的一个例子。
    nakun233
        3
    nakun233  
       3 小时 7 分钟前
    看到王者荣耀的分区原因就不想看了。。
    xiaoshu
        4
    xiaoshu  
    OP
       2 小时 56 分钟前
    @rogerer 可以指出错误哈 这篇文章是我基于书和论文自己的理解,可能有误
    xiaoshu
        5
    xiaoshu  
    OP
       2 小时 56 分钟前
    @nakun233 为什么呢?难道不是这个原因吗
    xiaoshu
        6
    xiaoshu  
    OP
       2 小时 51 分钟前
    @sillydaddy 你这样一说 感觉也对。
    虽然学过区块链,竟没想到。hash tree 每个块通过摘要,就是可以让你不依赖其他块来确认完整性。
    xiaoshu
        7
    xiaoshu  
    OP
       2 小时 45 分钟前
    @sillydaddy 但是在公众号还是尽量不拿 区块链 举例,
    上次在腾讯云官号直播,提了一嘴区块链,导致连直播回放都生成不了了
    sillydaddy
        8
    sillydaddy  
       2 小时 35 分钟前
    @xiaoshu 我说的是 Solana 链底层的共识机制,也是并行的,对比之下 Bitcoin 的共识是串行的。
    “Solana 的智能合约执行引擎叫 Sealevel ,它能做到同一时间执行大量交易,前提是:这些交易访问的账户不冲突。
    “如果交易 A 是在买 NFT ,而交易 B 是在进行转账,它们访问的是完全不同的账户,那么 Solana 会利用 CPU 的多核心,同时处理这两笔交易,而不是排队。”
    xiaoshu
        9
    xiaoshu  
    OP
       2 小时 15 分钟前 via iPhone
    @sillydaddy 学到了
    sillydaddy
        10
    sillydaddy  
       1 小时 57 分钟前
    @xiaoshu 我只是大概知道,引号里面是问的 AI 。另外,我刚注意到你在#7 楼提到的直播回放,这审查也太严格了吧,那还是不提也好。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2896 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 11:05 PVG 19:05 LAX 03:05 JFK 06:05
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86