基于 cheerio, 写了个低代码，高效解析轮子

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 517 天前的主题，其中的信息可能已经有所发展或是发生改变。

低代码，高效而简洁；支持正则表达式，复杂的场景也能很容易提取数据。

支持: Nodejs, TypeScript
依赖: Cheerio, turndown
HTML 代码片段可以转 Markdown

使用 YAML 来配置解析，可高效管理输出 JSON 结构

以下是最简单的解析形态，有个更复杂 SERP 例子在 git 中可作为学习参考。

YAML 配置

tree: nodes: title: selector: title body: selector: body attr: html to_markdown: true

HTML

<html lang="en"> <head> <title>Cheerio Tree</title> </head> <body> <h1>Cheerio Tree</h1> <main> <h2>What is Cheerio Tree?</h2> <p><b>Cheerio Tree</b> is a powerful utility built on <b>Cheerio</b>, designed for efficient DOM parsing. It enables rapid conversion of HTML data into JSON format. When paired with YAML, it provides an intuitive and streamlined approach to data handling and transformation.</p> </main> </body> </html>

输出

{ "title":"Cheerio Tree", "body":"Cheerio Tree\n============\n\nWhat is Cheerio Tree?\n---------------------\n\n**Cheerio Tree** is a powerful utility built on **Cheerio**, designed for efficient DOM parsing. It enables rapid conversion of HTML data into JSON format. When paired with YAML, it provides an intuitive and streamlined approach to data handling and transformation." }

传输门: https://github.com/serping/cheerio-tree

第 1 条附言 2024-07-19 12:08:45 +08:00

帖子要沉了，社区玩采集的不多？

你们都是怎么写代码和维护的;

现在我撸数据只需要关注yaml， Git 中有Google的SERP片段, 复杂一点的需求用例。

详细文档需要时间，陆续会出一些 API scraper 采集规则，YAML配置例子更直观。

cheerio

yaml

解析

11 条回复 2024-07-24 15:32:52 +08:00