推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3108 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://github.com/DormyMo/SpiderKeeper
主要实现 scrapy 工程的部署，抓取任务状态监控，定时启动爬虫等功能
支持多个 scrapyd 服务 ，方便爬虫集群的管理
后续等功能完善了之后 想支持更多爬虫框架来着
 | 1 allinwonder 2017-04-13 10:44:43 +08:00 很厉害啊，用什么写的？ |
 | 2 modm OP @allinwonder flask |
 | 3 xss 2017-04-13 11:31:51 +08:00 看着比 scrapyd 要好用... |
 | 4 simapple 2017-04-13 11:33:47 +08:00 v2 上真是爬虫玩家多 而且高端玩家多 |
 | 5 yanzixuan 2017-04-13 11:34:27 +08:00 怒赞。 |
 | 6 qile1 2017-04-13 12:12:53 +08:00 via Android windows 系统可以用不？ |
 | 7 xrlin 2017-04-13 12:24:28 +08:00 via iPhone 第 111 个赞 |
 | 10 im67 2017-04-13 14:31:27 +08:00 ui 可以的 |
 | 11 forever139 2017-04-13 15:27:24 +08:00 哈哈，前排支持 |
 | 12 bestrenxs 2017-04-13 19:24:31 +08:00 先赞一个！ |
 | 13 netChen 2017-04-14 10:01:50 +08:00 楼主强大，做成了我一直想做但却做不成的事，前排支持，然后给星 |
 | 14 qsnow6 2017-04-19 10:27:10 +08:00 非常好用！ 作者的 Issues 回复的也很快 |
 | 15 diveandwatch 2017-12-01 10:44:05 +08:00 请问，上传那个 egg 是 build-egg 生成的 egg,还是 scrapyd-deploy 成功之后自己生成的那个 egg 文件 |
| 16 diveandwatch 2017-12-01 14:30:07 +08:00 爬出来的数据放在 dbs 里面的 sqlite 数据库了吗？可是用可视化工具读不出来数据。 |
 | 17 Redips 2018-04-24 14:07:15 +08:00 不错,就是删除任务再新建,会提示达到最大工作量,而且人物也删除不掉 |
 | 18 baitongda 2019-02-01 16:48:23 +08:00 我想知道你是用了什么 python 的管理框架吗。 |
Select Language