分布式 py 程序案例？求助。

由于题主需要，准备开发一套基于分布式原理的程序，一个主控端下达指令给agent，agent自动获取任务进行调度。
其中还需要包含可扩展的插件形式执行一些附加的脚本或者过滤代码。
大家可以理解成是一只分布式的爬虫。

不知道描述的是不是有问题？
只是没有写过这样的东西，github上有没有这样的案例？（自己没发现）
或者有没有人大概有一些类似的案例可以分享的。
想了解一下具体的技术细节，并不是来要代码的。