想研究 Spark RPC 的主 er,有福了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
winchang
V2EX    程序员

想研究 Spark RPC 的主 er,有福了

  •  
  •   winchang 2022-09-04 10:35:27 +08:00 2622 次点击
    这是一个创建于 1214 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为啥说有福?

    • 把 rpc 模块从 spark 源码里面拆出来,可以独立运行
    • 代码量少了 N 倍,不在惧怕海量代码
    • 对比 Akka Actor ,实现 Hello World

    看大型源码库不易,期待您的鼓励: https://github.com/changzhiwin/spark-rpc

    15 条回复    2023-01-03 21:48:46 +08:00
    lmshl
        1
    lmshl  
       2022-09-04 12:46:32 +08:00
    感觉不如去研究 ScalaPB 或者 akka-grpc ,那才是真正的通用 RPC 框架

    真要是对比 RPC 框架的话也不应该拿 Akka actor 对比,Akka remote/cluster/sharding 那都是做分布式系统建模的,压根不是给通用 rock 场景准备的方案
    lmshl
        2
    lmshl  
       2022-09-04 12:50:01 +08:00
    *typo: rock -> rpc
    tyrantlucifer
        3
    tyrantlucifer  
       2022-09-04 13:41:01 +08:00
    不错,好东西,支持一下。
    winchang
        4
    winchang  
    OP
       2022-09-04 14:25:56 +08:00
    @lmshl 你说没问题,不是要对比出个啥子。
    只是在研究 spark core 的时候,顺便把 rpc 理解了下。
    又因为早期 spark 的版本是用的 akka ,后面 Spark 采用了自己实现的简版 rpc 。
    纯粹技术学习,不是为了说明好与坏。
    lmshl
        5
    lmshl  
       2022-09-07 11:30:14 +08:00
    @winchang 如果有意向研究 Scala 方向的技术的话,建议沿着你 quill + http4s 那条路(changzhiwin/mvc-quill)接着走,比如从 quill 层直接返回 cats-effect 的 IO ,全程不参与 Future 。还有用 Tagless final 来替换 class 构造参数的注入形式等等
    winchang
        6
    winchang  
    OP
       2022-09-07 19:49:51 +08:00
    @lmshl 你说这个路子,国内很少有应用的,工作机会少是个问题。
    lmshl
        7
    lmshl  
       2022-09-07 20:26:40 +08:00
    @winchang 扎心了,扎心了

    不过说真的,我要是失业了,我就学好英语去卷国外的远程工作,函数式方向时薪能给到 $100/h 左右
    winchang
        8
    winchang  
    OP
       2022-09-07 21:15:48 +08:00
    @lmshl 学好英语,是比编程、看源代码至少难一个数量级的事情。卷国外远程,需要流利的英语口语(我过的亏,是写不出来的)。
    winchang
        9
    winchang  
    OP
       2022-09-07 21:17:26 +08:00
    @lmshl 介绍个机会,我大概率能把 quill + http4s 研究的明明白白。
    hepin1989
        10
    hepin1989  
       2022-10-14 02:19:20 +08:00
    给 Akka 贡献点吧,thanks , 给 fork 贡献点也行
    winchang
        11
    winchang  
    OP
       2022-11-13 17:04:03 +08:00
    @hepin1989 你们有贡献 Akka ?
    hepin1989
        12
    hepin1989  
       2022-11-14 18:54:38 +08:00
    @winchang 我个人有一些的。
    winchang
        13
    winchang  
    OP
       2022-11-14 19:00:46 +08:00
    @hepin1989 follow you
    winchang
        14
    winchang  
    OP
       2022-11-14 19:02:52 +08:00
    akka 的 LICENSE 换了吧,玩法有不一样吗?
    sinboy1988
        15
    sinboy1988  
       2023-01-03 21:48:46 +08:00 via Android
    start 1 ,关注
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5298 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 03:18 PVG 11:18 LAX 19:18 JFK 22:18
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86