url='xxxxxxxxxxxxxxx' yield scrapy.Request( url=url, cookies=self.cookies, headers=self.headers, meta={ 'download_timeout': 60 }, callback=self.save, ) rs = requests.get(url, headers=self.headers, cookies=self.cookies, timeout=60)
这可能是什么原因造成的呢?找了一圈也没发现原因。COOKIES_ENABLED 设置成 True 的
1 laihan4396a 2024-01-05 16:50:31 +08:00 抓个包,或者设置个代理,看下请求的区别? |
![]() | 2 hahahalololo OP @laihan4396a 3q ,抓包后发现是 cookes 的问题,scrapy 框架对 cookies 自动处理了,少了许多 |