推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2397 天前的主题，其中的信息可能已经有所发展或是发生改变。
昨天入门了下爬虫
今天遇到了问题
我想爬这个图片网的图片
就是用 selenium 获取到了 url
但是得到的 driver.page_source 的值是一堆 Javascript，没有之类的标签
而我想获得的是
里的内容
所以现在用 beautifulsoup 解析不出来
BeautifulSoup(driver.page_source, 'lxml').find_all('a', class_='cV68d')
应该怎么解决？貌似用 driver.get_element 之类的方法也能找出来标签内容，但我想把整个 driver.page_sourse 的内容解析出来，用 soup 来处理
 | 1 zgcwkj 2019-04-02 15:27:31 +08:00  1 给个方法：（只在你说的这个网站有效） 1，打开这个网址（ https://unsplash.com/），仔细观察网页源码的每张图片数据，可以发现每张图片都是以 A 标签，并且 A 标签都是（ href="/photos/***"） 2，在开发者工具切换到（ Network ）节点，回到网页，点击任意一张图片进行预览，再到开发者工具的（ Network ）选项卡，可以看到请求的数据有哪些，细心观察数据请求，会有一个是请求到（ https://unsplash.com/napi/photos/***） 3，我们使用正则匹配（ https://unsplash.com/）的网页源码，匹配到每张图片的（ href="/photos/***"）内容（***是图片的 ID ） 4，然后结合第二步的工作，然后通过 GET 请求这个地址（ https://unsplash.com/napi/photos/****），会返回一个 JSON 数据，找到 urls.full 这个数据就是图片下载链接，可以直接把文件下载下来！ 仅提供思路，不要转载，仅在 V2EX 发表 |
 | 2 LZSZ 2019-04-02 15:46:49 +08:00 直接抓源码不行吗 <script>window.__INITIAL_STATE__ = ｛ xxxxxxx ｝</script> 里面的 转换成 json 格式读就可以了 |
 | 3 longchisihai 2019-04-02 15:47:05 +08:00 楼上的回复真是 stackoverflow 即视感 |
 | 4 larendorrx 2019-04-02 15:52:21 +08:00 客户端渲染的页面就更好抓了, 它总要去请求数据的, 所以就去看请求的格式, 直接 request 就完事了, 当然要注意 Headers. 可能会有一些认证之类的 |
| 5 LZSZ 2019-04-02 15:55:31 +08:00 https://unsplash.com/developers 提供了 api 啊 好像是免费的 你看看 |
 | 6 boatfu OP 1 谢谢大家的分析,凶手找到了,是因为时间太短,页面没有加载出来,driver 创建后,先用 time.sleep(10),就没问题啦 |
 | 7 janstk 2019-04-02 21:21:39 +08:00 |
 | 8 realkenshinji 2019-04-02 21:35:20 +08:00 via iPhone 人家明明都有 api 给你用了，哎.... |
 | 9 gengfire 2019-04-03 09:01:23 +08:00 |
Select Language