传统爬虫 还是 AI 辅助爬虫？该怎么选？

前言

在数据抓取领域，传统爬虫与 AI 辅助爬虫各有千秋。传统爬虫基于规则进行数据抓取，适用于结构稳定、规则明确的网站。然而，随着网站结构的频繁变动和复杂化，传统爬虫逐渐暴露出其局限性。相比之下，AI 辅助爬虫借助人工智能技术，能够智能解析网页、自适应变化，展现出更高的灵活性和准确性。那么，面对不同的抓取需求，我们该如何选择呢？本文将深入探讨传统爬虫与 AI 辅助爬虫的特点与优劣，为您提供决策参考。

传统爬虫 和 AI 辅助爬虫 分别是什么

传统爬虫

传统爬虫主要依赖于固定的规则或模式来抓取网页数据。它们通常通过识别网页中的特定元素，如类名、标签或结构，来定位和提取所需信息。然而，这种方式的局限性显而易见。一旦网站进行更新，改变了原有的类名、标签或结构，传统爬虫就会因为无法识别新的元素而失效，导致数据抓取失败或错误。

AI 辅助爬虫

AI 辅助爬虫能够智能地分析和理解网页内容，从而更准确地定位并提取所需信息。通过自然语言处理等技术，它们能够理解网页的语义信息，从而更精确地定位所需数据，即使网站进行了更新，AI 辅助爬虫也能继续有效地抓取数据。

示例

选用大家熟悉的豆瓣来进行示范，而爬虫则是用 x-crawl 。

• 传统爬虫，通过网页中的特定元素获取豆瓣电影排行榜的电影信息
• 爬虫 + AI ，爬虫搭配 AI 获取豆瓣电影排行榜的电影信息

传统爬虫

传统爬虫，通过网页中的特定元素获取豆瓣电影排行榜的电影信息

import { createCrawl } from 'x-crawl' // 创建爬虫应用 const crawlApp = createCrawl() // crawlPage 用于爬取页面 crawlApp.crawlPage('https://movie.douban.com/chart').then(async (res) => { const { page, browser } = res.data // 等待元素出现在页面中 await page.waitForSelector('#wrapper #content .article') const filmHandleList = await page.$$('#wrapper #content .article table') const pendingTask = [] for (const filmHandle of filmHandleList) { // 封面链接(picture) const picturePending = filmHandle.$eval('td img', (img) => img.src) // 电影名(name) const namePending = filmHandle.$eval( 'td:nth-child(2) a', (el) => el.innerText.split(' / ')[0] ) // 简介(info) const infoPending = filmHandle.$eval( 'td:nth-child(2) .pl', (el) => el.textContent ) // 评分(score) const scorePending = filmHandle.$eval( 'td:nth-child(2) .star .rating_nums', (el) => el.textContent ) // 评论人数(commentsNumber) const commentsNumberPending = filmHandle.$eval( 'td:nth-child(2) .star .pl', (el) => el.textContent?.replace(/\(|\)/g, '') ) pendingTask.push([ namePending, picturePending, infoPending, scorePending, commentsNumberPending ]) } const filmInfoResult = [] let i = 0 for (const item of pendingTask) { Promise.all(item).then((res) => { // filmInfo 是一个电影信息对象，顺序在前面就决定好了 const filmInfo = [ 'name', 'picture', 'info', 'score', 'commentsNumber' ].reduce((pre, key, i) => { pre[key] = res[i] return pre }, {}) // 保存每个电影信息 filmInfoResult.push(filmInfo) // 最后一次的处理 if (pendingTask.length === ++i) { browser.close() // 整理，根据数量决定是多还是单 const filmResult = { element: filmInfoResult, type: filmInfoResult.length > 1 ? 'multiple' : 'single' } console.log(filmResult) } }) } }) 

AI 辅助爬虫

爬虫 + AI ，让爬虫和 AI 获取豆瓣电影排行榜的电影信息

import { createCrawl, createCrawlOpenAI } from 'x-crawl' // 创建爬虫应用 const crawlApp = createCrawl() // 创建 AI 应用 const crawlOpenAIApp = createCrawlOpenAI({ clientOptions: { apiKey: process.env['OPENAI_API_KEY'] }, defaultModel: { chatModel: 'gpt-4-turbo-preview' } }) // crawlPage 用于爬取页面 crawlApp.crawlPage('https://movie.douban.com/chart').then(async (res) => { const { page, browser } = res.data // 等待元素出现在页面中, 并获取 HTML await page.waitForSelector('#wrapper #content .article') const targetHTML = await page.$eval( '#wrapper #content .article', (e) => e.outerHTML ) browser.close() // 让 AI 获取电影信息 (描述越详细越好) const filmResult = await crawlOpenAIApp.parseElements( targetHTML, `这是电影列表, 需要获取电影名(name), 封面链接(picture), 简介(info), 评分(score), 评论人数(commentsNumber)。使用括号的单词作为属性名` ) console.log(filmResult) }) 

两个示例的结果

两个示例最终展示的电影信息

{ "elements": [ { "name": "老狐狸", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2900908599.webp", "info": "2023-10-27(东京国际电影节) / 2023-11-24(中国台湾) / 白润音 / 刘冠廷 / 陈慕义 / 刘奕儿 / 门胁麦 / 黄健玮 / 温升豪 / 班铁翔 / 杨丽音 / 傅孟柏 / 高英轩 / 庄益增 / 张再兴 / 许博维 / 管罄 / 钟瑶 / 游珈 / 郑恩 / 戴雅芝 / 姜仁 / 萧鸿文...", "score": "8.1", "commentsNumber": "29211 人评价" }, { "name": "机器人之梦", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2899644068.webp", "info": "2023-05-20(戛纳电影节) / 2023-12-06(西班牙) / 2024(中国大陆) / 伊万拉班达 / 阿尔伯特特里佛塞加拉 / 拉法卡尔沃 / 何塞加西亚托斯 / 何塞路易斯梅地亚维拉 / 加西埃拉莫利娜 / 埃斯特索兰斯 / 西班牙 / 法国 / 巴勃罗贝格尔...", "score": "9.1", "commentsNumber": "64650 人评价" }, { "name": "白日之下", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2904961420.webp", "info": "2023-06-11(上海国际电影节) / 2023-11-02(中国香港) / 2024-04-12(中国大陆) / 姜大卫 / 余香凝 / 林保怡 / 梁仲恒 / 陈湛文 / 周汉宁 / 梁雍婷 / 龚慈恩 / 宝如 / 朱柏谦 / 朱康 / 许月湘 / 胡枫 / 鲍起静 / 高翰文 / 彭杏英 / 罗浩铭 / 谭玉瑛...", "score": "8.0", "commentsNumber": "36540 人评价" }, { "name": "可怜的东西", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2897662939.webp", "info": "2023-09-01(威尼斯电影节) / 2023-12-08(美国) / 艾玛斯通 / 马克鲁弗洛 / 威廉达福 / 拉米尤素夫 / 克里斯托弗阿波特 / 苏西本巴 / 杰洛德卡尔迈克 / 凯瑟琳亨特 / 薇琪佩珀代因 / 玛格丽特库里 / 汉娜许古拉 / 杰克巴顿...", "score": "7.0", "commentsNumber": "130113 人评价" }, { "name": "完美的日子", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2898894527.webp", "info": "2023-05-25(戛纳电影节) / 2023-12-21(德国) / 2023-12-22(日本) / 役所广司 / 柄本时生 / 中野有纱 / 山田葵 / 麻生未 / 石川小百合 / 三浦友和 / 田中泯 / 大下浩人 / 犬山犬子 / 牧口元美 / 长井短 / 研直子 / 茂吕师冈 / 县森鱼 / 片桐入 / 芹泽兴人...", "score": "8.3", "commentsNumber": "33562 人评价" }, { "name": "新威龙杀阵", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905374090.webp", "info": "2024-03-08(西南偏南电影节) / 2024-03-21(美国网络) / 杰克吉伦哈尔 / 康纳麦格雷戈 / 杰西卡威廉姆斯 / 比利马格努森 / 丹妮拉曼希沃 / 吉米索拉艾库美罗 / 卢卡斯盖奇 / 特拉维斯范文克 / 达伦巴内特 / 乔昆姆德阿尔梅达...", "score": "6.3", "commentsNumber": "9980 人评价" }, { "name": "首尔之春", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905204009.webp", "info": "2023-11-22(韩国) / 黄政民 / 郑雨盛 / 李星民 / 朴解浚 / 金成 / 朴勋 / 安世镐 / 郑允荷 / 丁海寅 / 南允皓 / 全秀芝 / 韩国 / 金成洙 / 141 分钟 / 首尔之春 / 剧情 / 金成洙 Sung-su Kim / 韩语", "score": "8.8", "commentsNumber": "171858 人评价" }, { "name": "金手指", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2901830629.webp", "info": "2023-12-30(中国大陆) / 梁朝伟 / 刘德华 / 蔡卓妍 / 任达华 / 方中信 / 陈家乐 / 白只 / 姜皓文 / 太保 / 钱嘉乐 / 袁咏仪 / 周家怡 / 岑珈其 / 李靖筠 / 吴肇轩 / 柯炜林 / 冯泳贤 / 杜曜宇 / 李建城 / 古永锋 / 中国香港 / 中国大陆 / 庄文强...", "score": "6.1", "commentsNumber": "135956 人评价" }, { "name": "美国小说", "picture": "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2902166424.webp", "info": "2023-09-08(多伦多国际电影节) / 2023-12-15(美国) / 杰弗里怀特 / 翠西艾利斯罗斯 / 约翰奥提兹 / 伊萨雷 / 斯特林K布朗 / 埃里卡亚历山大 / 莱斯利格塞斯 / 亚当布罗迪 / 凯斯大卫 / 迈拉卢克利希亚泰勒 / 雷蒙德安东尼托马斯...", "score": "7.7", "commentsNumber": "26223 人评价" }, { "name": "利益区域", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2899514583.webp", "info": "2023-05-19(戛纳电影节) / 2023-12-15(美国) / 克里斯蒂安富里道尔 / 桑德拉惠勒 / 约翰卡特豪斯 / 拉尔夫赫尔福特 / 弗雷娅克罗伊茨卡姆 / 马克斯贝克 / 伊摩根蔻格 / 斯蒂芬妮佩特罗维茨 / 拉尔夫齐尔曼 / 玛丽罗莎提特言...", "score": "7.4", "commentsNumber": "24875 人评价" } ], "type": "multiple" } 

比较

传统爬虫提取信息所需的步骤

const pendingTask = [] for (const filmHandle of filmHandleList) { const picturePending = filmHandle.$eval('td img', (img) => img.src) const namePending = filmHandle.$eval( 'td:nth-child(2) a', (el) => el.innerText.split(' / ')[0] ) const infoPending = filmHandle.$eval( 'td:nth-child(2) .pl', (el) => el.textContent ) const scorePending = filmHandle.$eval( 'td:nth-child(2) .star .rating_nums', (el) => el.textContent ) const commentsNuberPending = filmHandle.$eval( 'td:nth-child(2) .star .pl', (el) => el.textContent?.replace(/\(|\)/g, '') ) pendingTask.push([ namePending, picturePending, infoPending, scorePending, commentsNumberPending ]) } const filmInfoResult = [] let i = 0 for (const item of pendingTask) { Promise.all(item).then((res) => { const filmInfo = ['name', 'picture', 'info', 'score', 'commentsNumber'].reduce < any > ((pre, key, i) => { pre[key] = res[i] return pre }, {}) filmInfoResult.push(filmInfo) if (pendingTask.length === ++i) { const filmResult = { element: filmInfoResult, type: filmInfoResult.length > 1 ? 'multiple' : 'single' } } }) } 

依靠固定的类名和结构，过程还是比较繁琐的。

AI 辅助爬虫提取信息所需的步骤

const filmResult = await crawlOpenAIApp.parseElements( targetHTML, `这是电影列表, 需要获取电影名(name), 封面链接(picture), 简介(info), 评分(score), 评论人数(commentsNumber)。使用括号的单词作为属性名` ) 

一句话的事。

• 传统爬虫 需要依靠 “固定的类名” 和 “各种繁琐的操作” 来获取数据，如果网站更新频繁，那么网站更新后类名或结构的改变可能导致传统的爬虫抓取策略失效，需要重新获取最新的类名以及更新各种操作才能爬取数据。
• AI 辅助爬虫 只需要 “一段话” 就能够更加高效、智能和便捷获取到所需的数据。甚至可以将整个 HTML 传给 AI 帮我们操作，由于网站内容更加复杂需要更准确描述要取的位置，并且会消耗大量的 Tokens ，但即使网站后续的更新导致类名或结构发生改变也能正常爬到数据，因为我们可以不再依赖于固定的类名或结构来定位并提取所需信息，而是让 AI 理解并解析网页的语义信息，从而更高效、智能和便捷提取所需数据。

如果所需的内容更多，那么传统爬虫所做的步骤也就更多，而 AI 辅助爬虫只需增加几句话就能搞定，并且不用担心网站更新后的类名和结构是否会发生改动。

总结

传统爬虫主要依赖于预设的规则或模式来抓取网页数据，它们对于结构稳定、规则明确的网站表现出色。然而，随着网络技术的飞速发展和网站结构的频繁更新，传统爬虫面临着越来越多的挑战。一旦网站结构发生变化，传统爬虫通常需要重新调整规则，甚至可能导致抓取失败，这大大降低了其效率和准确性。

相比之下，AI 辅助爬虫结合了人工智能技术，能够智能地解析网页结构和语义，自适应网站的变化。通过机器学习和自然语言处理等技术，AI 辅助爬虫可以识别并学习网页中的特征，从而更准确地定位和提取所需数据。这使得 AI 辅助爬虫在面对复杂多变的网站结构时，能够保持高效的抓取能力。

总的来说，传统爬虫和 AI 辅助爬虫各有其适用场景。对于结构稳定、规则明确的网站，传统爬虫可能是一个更经济、更直接的选择。然而，对于结构复杂、频繁更新的网站，AI 辅助爬虫则展现出了更高的灵活性和准确性优势。在选择时，我们需要根据具体的抓取需求、网站特点以及资源投入等因素进行综合考虑。

资源

文中示例中所用到的爬虫都是来自 x-crawl ，不管是传统爬虫还是 AI 辅助爬虫它都可以满足您，并且还拥有很多好用的功能。

x-crawl

x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。灵活的使用方式和强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。

它由两部分组成：

• 爬虫：由爬虫 API 以及各种功能组成，即使不依靠 AI 也能正常工作。
• AI：目前基于 OpenAI 提供的 AI 大模型，让 AI 简化很多繁琐的操作。

特征

• AI 辅助- 强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。
• 写法灵活- 单个爬取 API 都适配多种配置，每种配置方式都各有千秋。
• 多种用途- 支持爬动态页面、静态页面、接口数据以及文件数据。
• 控制页面- 爬取动态页面支持自动化操作、键盘输入、事件操作等。
• 设备指纹- 零配置或自定义配置，避免指纹识别从不同位置识别并跟踪我们。
• 异步同步- 无需切换爬取 API 即可进行异步或同步的爬取模式。
• 间隔爬取- 无间隔、固定间隔以及随机间隔，决定是否高并发爬取。
• 失败重试- 自定义重试次数，避免因短暂的问题而造成爬取失败。
• 轮换代理- 搭配失败重试，自定义错误次数以及 HTTP 状态码自动轮换代理。
• 优先队列- 根据单个爬取目标的优先级可以优先于其他目标提前爬取。
• 爬取信息- 可控的爬取信息，会在终端输出彩色字符串信息。
• TypeScript- 拥有类型，通过泛型实现完整的类型。

如果您觉得 x-crawl 对您有所帮助，或者您喜欢 x-crawl ，可以在 GitHub 上给 x-crawl 存储库 点个 star 。您的支持是我们持续改进的动力！感谢您的支持！

x-crawl GitHub: https://github.com/coder-hxl/x-crawl

x-crawl 文档: https://coder-hxl.github.io/x-crawl/cn/