推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3958 天前的主题，其中的信息可能已经有所发展或是发生改变。
由于题主需要，准备开发一套基于分布式原理的程序，一个主控端下达指令给agent，agent自动获取任务进行调度。
其中还需要包含可扩展的插件形式执行一些附加的脚本或者过滤代码。
大家可以理解成是一只分布式的爬虫。
不知道描述的是不是有问题？
只是没有写过这样的东西，github上有没有这样的案例？（自己没发现）
或者有没有人大概有一些类似的案例可以分享的。
想了解一下具体的技术细节，并不是来要代码的。
其中还需要包含可扩展的插件形式执行一些附加的脚本或者过滤代码。
大家可以理解成是一只分布式的爬虫。
不知道描述的是不是有问题？
只是没有写过这样的东西，github上有没有这样的案例？（自己没发现）
或者有没有人大概有一些类似的案例可以分享的。
想了解一下具体的技术细节，并不是来要代码的。
 | 1 zhicheng 2015 年 3 月 25 日 这不是分布式，你这是一个队列。 |
 | 3 mengzhuo 2015 年 3 月 25 日 不上数据中心的算个啥分布式 随便一个Github上的爬虫项目都可以搞定 |
 | 4 x14oL OP |
 | 5 czheo 2015 年 3 月 25 日 via iPhone  1 没看懂 |
 | 6 Owenjia 2015 年 3 月 26 日 via Android 感觉这个需求在哪见过的样子，好像是某公司招人的题目…… |
Select Language