这是一个创建于 1516 天前的主题，其中的信息可能已经有所发展或是发生改变。
假设我写了 1000 个 spider, 我总不能都放在 spiders 目录下吧。 我肯定要进行目录分割：
spiders/AAA 目录下放置 ：spiderA01 spiderA02 ... spiders/BBB 目录下放置 ：spiderB01 spiderB02 ... ... 但是，当我用 scrapyd-deploy 配置到 scrapyd 服务器时， 这些工具只看 spiders 目录下的 spider(子目录被忽略)，这样，我的分割完的 spider 就被忽视了。
我该怎么解决这个问题 ？
第 1 条附言 2021-11-03 12:06:51 +08:00
谢谢 @Kobayashi
在 settins 里的这个设置里，加上spider 的各个子目录的模块名搞定了。
另外，scrapyd-deploy 生成egg文件时用到了 setuptools 的 find_packages() 函数。 只有子目录里有 __init__.py 的目录才会被打包。 所以一股脑儿在各个目录下创建了 __init__.py
(base) c:\_work\projs\python\scrapy01>scrapyd-deploy --debug -p scrapy01 Packing version 1635911154 Deploying to project "scrapy01" in http://ubuntu20-lts:6800/addversion.json Server response (200): {"node_name": "ubuntu20-lts", "status": "ok", "project": "scrapy01", "version": "1635911154", "spiders": 4} (base) c:\_work\projs\python\scrapy01>scrapyd-client spiders -p scrapy01 scrapy01: ccpi quotes womenadvancenc yifymovies  | 1 Kobayashi 2021-11-02 05:26:37 +08:00 via Android  1 SPIDER_MODULES |
Select Language