这是一个创建于 4366 天前的主题，其中的信息可能已经有所发展或是发生改变。
首先分享一个网站 it-ebooks.info
我很喜欢这个网站跟这个网站里的书
在一本书的页面里都能找到直接下载书的链接
直接点击链接是能直接下载电子书的
但是。。。。。。。
直接复制地址粘贴到地址栏里面则不能直接下载书 而是跳转到另一个页面
其实吧。。。。。。
我想用python爬虫下载整个网站的电子书
当我请求书的下载地址的时候就返回给我了一个跳转的页面
我想问问 为什么浏览器能直接点击下载而用 urllib2 请求地址的时候返回的是html页面文档
如何才能爬一下这个网站呢
我很喜欢这个网站跟这个网站里的书
在一本书的页面里都能找到直接下载书的链接
直接点击链接是能直接下载电子书的
但是。。。。。。。
直接复制地址粘贴到地址栏里面则不能直接下载书 而是跳转到另一个页面
其实吧。。。。。。
我想用python爬虫下载整个网站的电子书
当我请求书的下载地址的时候就返回给我了一个跳转的页面
我想问问 为什么浏览器能直接点击下载而用 urllib2 请求地址的时候返回的是html页面文档
如何才能爬一下这个网站呢
 | 1 delphiqin 2014 年 2 月 27 日  1 你尝试过伪造 url reffer, user agent 以及 cookie 吗？ |
| 2 delphiqin 2014 年 2 月 27 日 1 纠正，应该是 url referer 搭车问一下我的问题： 几个月前我抓过 www.appannie.com 这个网站的数据，程序一开始可以正常运行，但一般过2天左右，就会抓不到数据了，返回的错误码是 503 Service Temporarily Unavailable。我当时在抓数据的时候，会伪造 host, user agent, referer, cookie，但还是会被 appannie 检查出来是爬虫。之所以知道是被检测出来了，是因为程序是跑在公司内网的，在程序抓不回来数据的时候，我用浏览器依然能正常浏览那个网站。 我想问一下，他们是怎么检测出来的？应该怎么破解？ 这是我用的抓数据的代码： https://gist.github.com/DelphiQin/b4f3efe40bc77a17b28d |
 | 3 robertding OP @delphiqin 谢谢 我去试试 |
| 4 robertding OP @robertding 谢了 果然靠谱 |
 | 5 oott123 2014 年 2 月 28 日 via Android @delphiqin 你可以试试抓一段时间之后清理一次 cookie 再继续爬… 还看到有变态的，会在页面里嵌入一个 js 脚本，下次访问这个页面的时候，如果没有看到那个 js 设置的 cookie 就拒绝…不过我想你说的这个站没有这么高科技，应该就是针对 cookie 进行了请求限制。 |
 | 6 ameba 发货了～ |
| 7 ameba 2015 年 11 月 2 日 少年 登旺旺 |
Select Language