学习爬虫， XPath、beautifulsoup、正则表达式推荐学哪一个？

不是应该先学 js 逆向吗
学完逆向应该就不会考虑现在这个问题了

只是会用这几个玩意的水平的话一天不都能搞定了？

都可以学学，每个用的地方不同，解决的问题也不同。

我主要是用 beautifulsoup ，正则也得会一些处理一些特殊情况。

学 parsel 吧，到时候学 scrapy 就省得学解析库了

按照标题来说的话，要问怎么选择 HTML 里面的元素？

学习成本最低的算是 CSS selector ，看上去你误以为是 beautiful soup 了（只能这样猜测）。

其次是正则表达式，最后再是 XPath 。

兼容性的话，最高应该是 XPath ，虽然绝大部分情况用 CSS selector 就能解决。

但是在特殊情况下，正则表达式是绝大部分语言

如果使用正则表达式需要自己处理 HTML 里面的 escape characters ，

@kice 手机卡了，然后不知道为什么就提交了。。。

但是，正则表达式是绝大部分语言都能用，目前主流语言标准库都自带。其他两种方法都需要解析整个 HTML 文档，理论上还有性能问题。

如果使用正则表达式需要自己处理 HTML 里面的 escape characters ，不过处理也不难。

xpath, 熟悉之后写起来又快又舒服

xpath 配合相应插件辅助提取目标 用着爽歪歪

权做抛砖引玉。
lxml -> xpath 选择器
beautifulsoup -> CSS 选择器
解析的话一般来说是这两种选择一种，解析规范的 html 大多数情况下多数使用这两种选择器而不是正则。一些特殊情况和字符串处理则使用正则。印象中 lxml 底层是使用 C ，而 beautifulsoup 是 python 实现，似乎是 lxml 效率更高一些。两者选择自己喜欢擅长的那种就可以了。
爬虫的难度如楼上所说，是如何获取到网页源码和参数构造，反而解析和入库是比较简单的步骤了。

xpath 和正则是都要学的，bs 可以不学

@huruwo 现在的云打码平台不能解决滑块对齐问题么？

@huzhikuizainali 打码平台勉强可以针对特定类型，后面还有账号问题。风控限制问题，设备问题，ip 代理问题，签名算法问题，

@huzhikuizainali 做到最后还是要自己搞滑块的，而且逆向风控账号这些才是学起来最麻烦的，你把 xp 和正则简单学学能用就行了，现在大部分都是 json 的数据

@huruwo 有什么书籍推荐么？主要内容是针对反爬的。

@huzhikuizainali 书本都是落后的，应对不了最新的对抗。js 基础打好就行，再就是进圈子找人学习最新的对抗方法。