scrapy 操作 make_requests_from_url 遇到的坑

遇到个比较奇葩的问题，这两天做个小采集测试，然后用了下 scrapy。 以前只拿这玩意儿的成品二次改过，重新从开头弄感觉有点头大，遇到一些细节问题不好解决。 比如下面，我运行到这行就没下文了，后面的代码并没有执行：

items.extend([self.make_requests_from_url(url).replace(callback=self.parse) for url in validurls]) 

按理说这里就给爬虫返回请求而已，后面应该是能继续执行的。 validurls 实测是有数据的，不知道这里出了啥毛病，总的局部代码如下：

class DSpider(CrawlSpider): #继承自 CrawlSpider，实现自动爬取的爬虫。 name = 'DSpider' download_delay = 1 start_urls = ['http://www.baidu.com'] def parse(self, response): hxs = HtmlXPathSelector(response) items = [] newurls = hxs.select('//a/@href').extract() validurls = [] for url in newurls: validurls.append(url) items.extend([self.make_requests_from_url(url).replace(callback=self.parse) for url in validurls]) sites = hxs.select('//html') for site in sites: item = DomainspiderItem() item['title'] = site.select('a/text()').extract() item['link'] = site.select('a/@href').extract() item['desc'] = site.select('text()').extract() items.append(item) return items 

个人觉得 make_requests_from_url 把请求返回后，应该是能直接执行下去的。

网上找了些参考资料：

https://github.com/qz267/ITP/blob/1f8cdfc104e2ed5c2e7a479ef103ac9511e2891c/blog_crawl/blog_crawl/spiders/mindhacks_spider.py https://www.douban.com/note/287386156/ https://segmentfault.com/q/1010000002556752 

大佬们麻烦给点指正意见，批评和友善喷没关系。 不然我这儿一头雾水，小问题耽误不少时间就很糟糕了。。 在线等，感谢！