baidu 爬虫抓取的时候 gzip 没有生效

This topic created in 2760 days ago, the information mentioned may be changed or developed.

有没有大佬知道是为什么啊…… 谢谢 >_<

贴一下 nginx 的设置……

 gzip on; gzip_vary on; gzip_comp_level 6; gzip_buffers 32 8k; gzip_min_length 1000; gzip_proxied any; gzip_disable "msie6"; gzip_http_version 1.1; gzip_types text/plain text/css application/json application/x-Javascript text/xml application/xml application/xml+rss text/Javascript application/Javascript image/svg+xml;

在百度的站长工具-抓取诊断里看

HTTP/1.1 200 OK Date: Wed, 24 Oct 2018 14:19:13 GMT Content-Type: text/html Content-Length: 1501880 Connection: close Server: nginx/1.10.3 (Ubuntu) Last-Modified: Wed, 24 Oct 2018 13:20:29 GMT Vary: Accept-Encoding

这个 Content-Length …… 有点迷

https://varvy.com/tools/gzip/ 测试的结果

Original size: 1501880 Compressed size: 153241 File reduced by: 1349 kb

11 replies 2021-07-05 04:24:36 +08:00

Foxkeh

Oct 25, 2018 via iPhone

好像跟请求有关

springmarker

Oct 25, 2018 via Android

是否用 gzip 也得看请求头啊

SCaffrey

Oct 25, 2018

@Foxkeh @springmarker 请求头不受我控制吧（难道我理解错了

also24

Oct 25, 2018

@SCaffrey #3
https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Headers/Accept-Encoding

hundan

Oct 25, 2018 via Android

@SCaffrey 如果爬虫请求头就写了不支持 gzip 服务器就不会返回压缩过的啊

yangqi

Oct 25, 2018

你 gzip_types 里面也没有 text/html 啊，当然不生效了。

SCaffrey

Oct 25, 2018

@yangqi #6 我理解它默认就有 text/html ？而且如果写进去会提示 nginx: [warn] duplicate MIME type "text/html"
@also24 @hundan 我好像没表述清楚（？）百度爬我的站…… 我可以控制它的爬虫的请求头吗……

also24

Oct 25, 2018

@SCaffrey #7
我用百度的抓取工具抓我自己的站测试了一下，确实也是没有触发 gzip 的
看起来应该是百度的爬虫的 request header 的问题

SCaffrey

Oct 25, 2018

@also24 谢谢啦～

Oct 25, 2018 via iPhone

这是百度爬虫已经表明自己不接受 gzip，你还压缩个鬼啊。

digglife

Jul 5, 2021

挖个坟，2021 年了还是不支持 GZIP 。