用 kafka 设计一个任务调度方案 - V2EX
MatthewHan
V2EX    Java

用 kafka 设计一个任务调度方案

  •  
  •   MatthewHan Aug 23, 2019 6371 views
    This topic created in 2453 days ago, the information mentioned may be changed or developed.

    这周导交代了一个任务,关于我们平台智能化工具多租户调用需要设计一个任务调度平台,该平台满足以下特点:

    1.多个智能化工具还未部署,工具处理量有限,最基本的异步排队消息队列,支持任务阻塞; 2.优先级调用,不同租户下用户调用智能化工具的优先级不同,先排队的任务可能会被后进的任务插队(未细化); 3.任务处理消息结果反馈与查询; 4.....

    本人没有在实际的互联网或者软件公司实习、工作过,在这部分没有什么经验,正处于一个学习中的小白,请教一下大家有没有比较优雅的方案,或者说能够给点建议和观点谢谢,用 kafka 实现是否能够完全满足目前以及今后的需求?

    15 replies    2019-08-24 17:31:47 +08:00
    MatthewHan
        1
    MatthewHan  
    OP
       Aug 23, 2019
    wysnylc
        2
    wysnylc  
       Aug 23, 2019
    xxl-job 一个成熟的分布式任务调度平台
    wysnylc
        3
    wysnylc  
       Aug 23, 2019
    等等,你这个不是用框架能解决的,这是业务需求!
    autogen
        4
    autogen  
       Aug 23, 2019
    这个一般都是塞 DB,再用另一个程序查 DB 做任务
    caoyouming
        5
    caoyouming  
       Aug 23, 2019
    airflow 分布式任务调度系统了解一下?
    lhx2008
        6
    lhx2008  
       Aug 23, 2019 via Android
    塞 DB+死循环就行,没有那么复杂
    Takamine
        7
    Takamine  
       Aug 23, 209 via Android
    你们是要做一个平台,Kafka 只是一个中间件,这是是两个概念吧。
    luozic
        8
    luozic  
       Aug 23, 2019
    kafka 是一个消息队列,调度之后的消息处理倒是可以扔给 kafka,前面的调度还是得你自己搞
    jswh
        9
    jswh  
       Aug 23, 2019
    你这是业务需求 + 1
    kafka 这种只是消息队列,不会管到这么细致的。
    EastLord
        10
    EastLord  
       Aug 23, 2019
    azkaban?
    MatthewHan
        11
    MatthewHan  
    OP
       Aug 23, 2019
    @lhx2008 这样对资源的消耗怎么样?
    jsnjfz
        12
    jsnjfz  
       Aug 23, 2019
    没有开发经验。。。只能求助外力了吧
    wind3110991
        13
    wind3110991  
       Aug 23, 2019   1
    楼上很多答非所问,你这个用 kafka 或者 redis 调度都是可以的,就是抽象成一个生产者消费者模型就好。
    kafka 消息队列中间件最大的好处,就是可以解耦复杂系统之间的依赖关系,
    设计多个 Topic,用来存放不同优先级的消息,消费者端优先处理高优先级 topic 即可,你这个都不需要保证消息先后顺序。
    消息处理后的结果,看数量级是否巨大,较小百万以下,直接 Mysql 分表搞定,千万上亿量级用 Hbase 或者 ES 来存储和查询,涉及分布式计算协同和汇总结果的,考虑用 kafka stream 或者 flink 方案。
    reus
        14
    reus  
       Aug 24, 2019
    向你领导提一个建议,招一个专业人士来做专业的工作
    luozic
        15
    luozic  
       Aug 24, 2019
    锤子的确可以通过别的方式模拟别的东西,但是啥都用锤子 mock,请问啥叫 DDD。
    About     Help     Advertise     Blog     API     FAQ     Solana     1066 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 54ms UTC 22:49 PVG 06:49 LAX 15:49 JFK 18:49
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86