做了个 llms.txt 生成器,据说对 SEO 有好处 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
HackerQED
V2EX    分享创造

做了个 llms.txt 生成器,据说对 SEO 有好处

  •  
  •   HackerQED 179 天前 via iPhone 2427 次点击
    这是一个创建于 179 天前的主题,其中的信息可能已经有所发展或是发生改变。
    道听途说这玩意对 SEO 大有好处,有个老哥靠这个从 chatbot 一个月拿了几千流量。

    感觉这玩意会流行起来,也是自己手里小站太多,懒得一个个写,就做了个生成器: http://llmstxtgenerator.co

    免登陆使用,限制了最多抓 5 个页面,怕网友把我拉爆。token 用得还挺多的。

    用法:输入 sitemap ,后台抓网站内容,ai 生成 llms.txt ,大致就是一个专门写给 ai bot 的文件,包含了网站的用途和重要链接。

    什么是 llms.txt: https://llmstxt.org
    第 1 条附言    178 天前

    250509: 已经支持用户使用自己的 key,纯前端应用,key不出浏览器。

    之后应该会做个 ignore pattern list。

    18 条回复    2025-05-28 10:13:07 +08:00
    samzong
        1
    samzong  
       179 天前
    点个赞,看起来不错,firecrawl 也弄这么一个东西; llms.txt 的感觉的确不错,我之前也弄了一个类似的 llmstxt 放到了我的工具里了,感觉更适合搞一个可以本地跑的,没有页面限制这些麻烦事儿。
    G9E7GdL3f4NmG0hd
        2
    G9E7GdL3f4NmG0hd  
       179 天前
    我点了 start 后,全选那里怎么选择不了
    96
        3
    96  
       179 天前 via Android
    https://llmstxt.firecrawl.dev/

    这里注册之后好像是 500 个
    HackerQED
        4
    HackerQED  
    OP
       178 天前 via iPhone
    @96 整挺好,他们有钱抗造啊,主要拿来给产品打广告的
    HackerQED
        5
    HackerQED  
    OP
       178 天前 via iPhone
    @smallflyk 最大支持 5 个页面,目前只能选 5 个。还是你遇到了什么界面 bug ?
    supermama
        6
    supermama  
       178 天前
    我是直接用 firecrawl 生成,你要是怕 token ,是不是可以让用户配自己 api
    HackerQED
        7
    HackerQED  
    OP
       178 天前 via iPhone
    @supermama 合理啊,这就加一个
    HackerQED
        8
    HackerQED  
    OP
       178 天前 via iPhone
    @supermama 但我这个是服务器端操作的,怕用户上传 api key 不放心,还在犹豫做不做这个功能
    supermama
        9
    supermama  
       178 天前
    @HackerQED 不要记录 key 呢,用完即删掉。 或者可以用前端爬,js 调用 ai 呢? 这样也不用占用你服务器资源,后续就通过挂广告就行,不需要直接对用户收费
    HackerQED
        10
    HackerQED  
    OP
       178 天前 via iPhone
    @supermama 行,在小红书上面也有人类似的反馈,看来大家比较能接受 key 。另外这个现在放后端的,感觉是可以做一个纯前端版本,接受 openai key 和 jina reader key
    supermama
        11
    supermama  
       178 天前
    @HackerQED 加一些 url 过滤规则,我不需要将 url 中所有的 url 都生成 llmtxt 。 允许设置爬取的 maxurl
    samzong
        12
    samzong  
       178 天前
    @supermama #11 这个功能建议不错,可以有一个 ignore list
    HackerQED
        13
    HackerQED  
    OP
       178 天前 via iPhone   1
    @samzong 现在已经可以用户提供 api key 了,过会有空可以做一个 ignore pattern 功能
    HackerQED
        14
    HackerQED  
    OP
       178 天前
    @samzong @supermama 又更新了一个版本,已经有 ignore pattern 了。
    samzong
        15
    samzong  
       178 天前
    @HackerQED #14 厉害了~
    supermama
        16
    supermama  
       177 天前
    @HackerQED 好的,网站收藏了
    ly001
        17
    ly001  
       174 天前
    试着生成一个,是这样的吗?

    # 站长在线工具

    > 提供多种实用的免费在线工具,助力网站管理与开发。

    站长在线工具为用户提供一系列高效的在线工具,涵盖格式化转换、加解密编码、文本处理等功能,专为站长和开发者设计。通过这些工具,用户可以轻松处理数据,优化网站管理和开发流程。

    ## 在线工具
    - [站长在线工具大全]( https://www.ponhub.vip/): 提供多种实用的在线工具,包括 JSON 处理、格式化转换、加解密编码、文本处理等,适合站长和开发者使用。
    - [JSON Online Tools]( https://www.ponhub.vip/json/): A comprehensive online tool for JSON parsing, formatting, and compression, facilitating easy data transfer between programming languages.
    - [在线 Json 解析工具]( https://www.ponhub.vip/jsonudview/): 提供在线 Json 解析、格式化、压缩及生成实体类等功能,帮助用户轻松处理 Json 数据。
    - [在线 JSON 解析工具]( https://www.ponhub.vip/jsonlrview/): 提供在线 JSON 格式化、校验和高亮显示功能,支持 XML 与 JSON 相互转换,实时预览和详细错误信息展示。
    - [在线 Json 压缩工具]( https://www.ponhub.vip/jsonzip/): 提供在线 Json 压缩和格式化功能,帮助减少传输流量并提高速度,同时支持去除 Json 转义。
    supermama
        18
    supermama  
       159 天前
    一直提示:fail to fetch your sitemap . 我确定我的 sitemap 是可以正常访问到的。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4036 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 00:56 PVG 08:56 LAX 16:56 JFK 19:56
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86