这是一个创建于 770 天前的主题，其中的信息可能已经有所发展或是发改变。
想请教一下各位大佬，比如说给一个很大区间范围的数据进行分区求和，先由 master 分给各个 worker ，由 worker 来计算后反馈给 master 进行汇总，我在网上找了很多但是都没有找到相关的源码可供参考。各位大佬能不能指点指点，谢谢。
 | 1 YsHaNg 2023-11-07 22:32:07 +08:00 |
 | 2 ccde8259 2023-11-07 22:36:23 +08:00 via iPhone 为啥是 K8S 而不是 YARN+Spark |
 | 3 dayeye2006199 2023-11-08 09:38:40 +08:00 via iPhone 你需要的的是一个可以做 map reduce 类任务的框架, k8s 并不管这事 复杂点可以用 spark ，简单点就 ray dask 这些并行处理框架 |
Select Language