推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1139 天前的主题，其中的信息可能已经有所发展或是发生改变。
业余爱好者，学 python 爬图片，看到美女图片网站 v2ph.com 练练手，但发现爬下来的图片很小、没内容，但是链接又是对的，最后才发现，即使把链接复制到浏览器里也无法打开，而是要打开原网页，一直下拉，把图片都加载出来了之后，才能通过链接打开图片。 所以，请教各位大佬，这样的情况怎么解决？
 | 1 we21x 2022-09-05 22:14:18 +08:00 估计是图片懒加载的问题。img 元素有个 data-src 属性，看看是不是原图的 URL ，如果是取这个属性就行 |
 | 2 sutra 2022-09-05 22:17:43 +08:00 打开浏览器的 Developer Tools ，看看 Network ？ |
 | 3 p1956 2022-09-05 22:26:44 +08:00 data\-src\=\"(.+?)\" |
 | 4 bananahotell OP @we21x 是抓的 data-src 属性，而且这个就是图片的链接，但是无法下载，而且如我所说，即使把这个属性链接直接在浏览器里也无法打开图片，需要打开原图的网页，并在把这个图加载出来之后，才能打开 |
| 5 bananahotell OP @sutra 那里面太专业东西的不懂，但是我直接查看网页源码是能看到图片链接的，不是通过 Javascript 加载的。（或者说是其他什么问题？） |
| 6 bananahotell OP @p1956 获取链接的正则？但我的问题不在于没获取到链接 |
| 7 bananahotell OP 我仔细想了一下，我直接把图片链接复制到浏览器里打不开图片，但不是弹的 404 ，而是提示“access denied 。。。”，估计是网站的设置，防爬取 |
 | 8 foam 2022-09-05 23:13:33 +08:00 header 带上 referer 就可以了 referer: https://www.v2ph.com/ |
| 9 p1956 2022-09-05 23:30:14 +08:00 |
| 10 p1956 2022-09-05 23:39:16 +08:00 发现有 cf 盾，挺麻烦的 |
 | 11 imicksoft 2022-09-06 00:00:42 +08:00 量不大就模拟网页浏览采集 |
 | 12 Tink PRO 直接模拟网页吧 |
| 13 bananahotell OP 之前爬过豆瓣，经过这个网站和各位的回复，才发现爬虫还有太多东西，怪不得能写一大本书，最近买了本，慢慢啃了再来研究 |
 | 14 bestmos 2022-09-06 02:01:11 +08:00  1 @bananahotell F12+捕获都不会那建议先学一下计算机网络基础 |
 | 15 ijrou 2022-09-06 05:00:28 +08:00 一想到就是懒加载，，，看来你爬虫的技术不太行啊 |
| 16 sutra 2022-09-06 08:05:00 +08:00 哦，才看到 OP 说是“业余爱好者”。不过像 Developer Tools 里那些基本用法肯定避不开的。 |
 | 17 opengps 2022-09-06 08:47:05 +08:00 知道了一个新网站 |
 | 18 tankren 2022-09-06 08:50:37 +08:00 谷歌“爬虫 懒加载” 然后抄 我也是业余的 给单位的计划和财务写了几个小工具 大大减少人工时间 还是挺有成就感的 |
 | 这些全是图片的网站，一般会做防盗链处理，图片请求空 referer 是不会返回，可以看看请求 header 中是否有携带 referer |
 | 20 vite 2022-09-06 09:12:54 +08:00 戳开看了下，不单是 lazyload 和 referer 的问题，有 cloudflare 防护，新手建议还是换个站上手吧... |
 | 21 fbichijing 2022-09-06 09:32:07 +08:00 刚试了一下，图片链接的话 data-src ，爬取的时候加个 referer 就不会 403 |
 | 22 codingBug 2022-09-06 10:05:13 +08:00 有时间，我也爬一爬 |
 | 23 zoofy 2022-09-06 11:43:59 +08:00 加 referer headers 就解决了 |
| 24 bananahotell OP |
| 25 bananahotell OP 不对，乌龙了，加了 referer 也不行 |
 | 26 Dart 2022-09-09 03:10:57 +08:00 楼主怎么样了，我也在抓 v2ph ， 能交流下吗？ |
| 27 Dart 2022-09-09 17:21:06 +08:00 @bananahotell ^^^^ |
| 28 bananahotell OP @Dart 没成功，我准备把崔庆才写的那本网络爬虫书看了再来 |
 | 29 Joeith 2022-09-10 20:53:36 +08:00 直接用 puppeteer 解决一切问题。 反正小项目，不用考虑效率的问题。用时效换安全 |
Select Language