试着开放一个免费的微信公众号的 RSS 服务 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
0o0O0o0O0o
V2EX    分享创造

试着开放一个免费的微信公众号的 RSS 服务

  •  4
     
  •   0o0O0o0O0o 2020-09-19 18:20:22 +08:00 29065 次点击
    这是一个创建于 1847 天前的主题,其中的信息可能已经有所发展或是发生改变。

    众所周知,微信公众号比较封闭,爬取也有一定门槛,一些常用的订阅方案经常需要多安装一个 APP,对于 RSS 用户来说很不友好,加上如今订阅号的推送也是乱序时间轴的,作为在推荐算法的重重包围下做挣扎的一员,做了一个订阅提醒的服务,希望在此借助 Github 为同好提供有限的订阅服务。

    目前比较简陋,只有标题、发布时间和链接,因为我出发点就仅仅是提醒,如果将来需要摘要、缩略图的朋友比较多会考虑加上。

    如需新增公众号请提 pr,RSS 文件定时自动更新到 github/gitee 。

    希望能帮到有需要的人。

    github 地址: → 传送门

    第 1 条附言    2020-09-20 19:47:22 +08:00
    gitee 同步也做好了
    80 条回复    2021-08-21 14:51:40 +08:00
    codeforyou
        1
    codeforyou  
       2020-09-19 19:41:18 +08:00
    你是如何爬取到数据的?
    0o0O0o0O0o
        2
    0o0O0o0O0o  
    OP
       2020-09-19 19:54:41 +08:00 via iPhone   4
    @codeforyou

    #1

    虚假且有法律风险的回答:逆向了 wechat

    真实:全部是我一条一条手动抄录的

    chotow
        3
    chotow  
       2020-09-19 20:21:28 +08:00
    GitHub 的默认分支虽然以后要改成 main,但这是一个配置项,你可以手动修改:
    https://github.com/settings/repositories
    改过后就不用担心未来会被「强制」修改。
    0o0O0o0O0o
        4
    0o0O0o0O0o  
    OP
       2020-09-19 20:40:10 +08:00 via iPhone
    @chotow

    #3

    啊…感谢科普,是我想当然了
    zdb1115
        5
    zdb1115  
       2020-09-19 22:55:48 +08:00
    谢谢 试用一下
    pC0oc4EbCSsJUy4W
        6
    pC0oc4EbCSsJUy4W  
       2020-09-19 23:01:55 +08:00
    RSShub 支持吗?
    0o0O0o0O0o
        7
    0o0O0o0O0o  
    OP
       2020-09-19 23:04:06 +08:00
    @zdb1115

    #5

    欢迎提 pr 添加你想订阅的公众号~
    0o0O0o0O0o
        8
    0o0O0o0O0o  
    OP
       2020-09-19 23:13:04 +08:00
    @fatelight

    #6

    我也是 RSSHub 用户

    RSSHub 是一种 RSS 生成器,这个的实现逻辑不太方便基于 RSSHub 实现,相当于我已经生成好了订阅源文件,通过 github/gitee 来更新,没太搞懂 RSSHub 的介入点,或许等足够稳定之后可以自荐到 RSSHub 收录的路由页面~
    x9sec
        9
    x9sec  
       2020-09-19 23:38:25 +08:00
    方便分享下爬取思路吗?企鹅:MTY0OTg4MDk4OA==
    imdong
        10
    imdong  
       2020-09-19 23:48:04 +08:00
    思路大概有两个,一个如一楼大神所说,逆向客户端,另一个思路是搜狗搜索吧。

    另:

    crontab 0 0 0 * * send "楼主服务关闭了没?"
    BetterSci
        11
    BetterSci  
       2020-09-20 07:29:42 +08:00
    想订阅的公众号:MeetChem
    化学教育期刊
    共享化学
    BetterSci
        12
    BetterSci  
       2020-09-20 07:35:44 +08:00
    bizid:MzIxOTI2MDQ5Mw==
    iiusky
        13
    iiusky  
       2020-09-20 09:38:20 +08:00 via Android
    微信 rss 还是小众用户。。我是自己需要,所以搞了一个。v 站有一些小伙伴也用过。
    0o0O0o0O0o
        14
    0o0O0o0O0o  
    OP
       2020-09-20 11:31:29 +08:00
    @BetterSci

    #11

    我用你的需求做了个图文教程来示范如何添加公众号(截图截到手酸),你可以看一下(例如 Better 化学大本营 已经同步了一次了可以订阅了)

    都是在网页上操作,你可以自己尝试着添加 化学教育期刊 或者其他公众号
    scottyeung
        15
    scottyeung  
       2020-09-20 13:19:43 +08:00
    好活!之前我也有这样的想法,但是数据来源不好弄就放弃了
    star 一个字词一下
    nnxs
        16
    nnxs  
       2020-09-20 22:44:02 +08:00
    简直太棒了, 配合 Reeder 的 Reader view 太完美了!
    0o0O0o0O0o
        17
    0o0O0o0O0o  
    OP
       2020-09-21 20:29:41 +08:00
    在搜索引擎收集了一些公开的榜单,目前已收录近 700 个公 x 号,目前服务正常
    0o0O0o0O0o
        18
    0o0O0o0O0o  
    OP
       2020-09-22 20:05:12 +08:00
    当前已收录近 1500 个公 x 号,目前服务正常
    BetterSci
        19
    BetterSci  
       2020-09-24 08:12:43 +08:00
    @0o0O0o0O0o Thanks for great work and sharing...
    BetterSci
        20
    BetterSci  
       2020-09-24 19:38:06 +08:00
    @0o0O0o0O0o 抱歉,我还没有学会怎么添加
    BetterSci
        21
    BetterSci  
       2020-09-24 19:55:29 +08:00
    利用搜索引擎,搞明白了怎么 pr 了,再次感谢
    0o0O0o0O0o
        22
    0o0O0o0O0o  
    OP
       2020-09-24 20:31:03 +08:00 via iPhone
    @BetterSci

    #21

    没有收到 pr,我看了下你 fork 出去的,你可能需要再对照一下 readme 中的操作流程,都是网页操作,仔细对照应该没有问题的
    BetterSci
        23
    BetterSci  
       2020-09-25 09:15:06 +08:00
    谢谢你热情而洋溢的指导,昨天重新尝试了 pr 提交了 化学教育 的 bizid
    0o0O0o0O0o
        24
    0o0O0o0O0o  
    OP
       2020-09-25 15:13:43 +08:00
    @BetterSci

    #23

    没有收到...

    我看了下你只完成了第四步
    BetterSci
        25
    BetterSci  
       2020-09-25 19:17:50 +08:00
    @0o0O0o0O0o 我再学习下
    0o0O0o0O0o
        26
    0o0O0o0O0o  
    OP
       2020-09-26 15:28:40 +08:00
    稳定运行...啊不是稳定抄录一周
    linxl
        27
    linxl  
       2020-09-29 09:43:37 +08:00
    biz 的话是通过公众号后台得插入文章链接爬的 (这个途径有频率限制, 一天查不了几次)?
    0o0O0o0O0o
        28
    0o0O0o0O0o  
    OP
       2020-09-29 09:53:01 +08:00 via iPhone
    @linxl

    #27

    只是提供一个公益服务,不能讨论实现细节,还是坚称手动抄录吧

    (可以看一下 feeds 分支这一周的提交记录,感觉目前每天监控几万个公众号应该问题不大吧…
    rMario
        29
    MrMario  
       2020-09-29 10:04:11 +08:00
    有一个小问题反馈一下,目前基于托管站点的 raw 查阅,响应是文件下载,没有正确适配 MIME type,部分 rss 上无法正常添加
    0o0O0o0O0o
        30
    0o0O0o0O0o  
    OP
       2020-09-29 10:20:18 +08:00   1
    @MrMario

    #29

    这个我也没有什么好办法。。。因为本身就是希望借助 github/gitee 来控制成本(查阅了条款不算滥用)

    像 reeder 、feed reader 之类的工具是可以添加成功,不支持的目前可能需要自己处理一下了,例如借助 cloudflare workers,免费的每天十万条请求的额度,自用肯定够了
    saimax
        31
    saimax  
       2020-10-01 22:28:51 +08:00
    支持~ 非常好~ 已经把目前大多数的 bizid 拼上具体的 url 链接自用方便搜索导入了~
    0o0O0o0O0o
        32
    0o0O0o0O0o  
    OP
       2020-10-01 23:08:50 +08:00
    @saimax

    #31

    现在这样确实不方便,一个方便搜索和复制链接的页面一直写在 TODO 里,就是还没时间去做

    找个时间做一下
    treblex
        33
    treblex  
       2020-10-02 02:19:13 +08:00   1
    @0o0O0o0O0o #32 https://github.com/Treblex/wechat-feeds-page 深夜摸鱼,做了个简单的页面
    0o0O0o0O0o
        34
    0o0O0o0O0o  
    OP
       2020-10-02 10:43:58 +08:00 via iPhone
    @suke971219

    #33

    棒~
    0o0O0o0O0o
        35
    0o0O0o0O0o  
    OP
       2020-10-04 15:10:52 +08:00
    稳定抄录两周~当前 1500 余个


    在 @suke971219 的贡献下,增加了展示的页面
    BetterSci
        36
    BetterSci  
       2020-10-05 16:51:25 +08:00
    @saimax 实在是太棒了
    BetterSci
        37
    BetterSci  
       2020-10-05 16:52:22 +08:00
    @0o0O0o0O0o 感谢你热情且及时的帮助
    ashine
        38
    ashine  
       2020-10-05 22:28:51 +08:00
    微信公众号头像要如何获取呢?
    > list.csv 里面没有
    0o0O0o0O0o
        39
    0o0O0o0O0o  
    OP
       2020-10-05 22:49:28 +08:00
    @ashine

    feeds 分支下面的 details.json
    saimax
        40
    saimax  
       2020-10-08 16:17:33 +08:00
    @suke971219 实在是太 6 了
    0o0O0o0O0o
        41
    0o0O0o0O0o  
    OP
       2020-10-18 12:45:48 +08:00
    稳定抄录一个月~当前 1600 余个
    0o0O0o0O0o
        42
    0o0O0o0O0o  
    OP
       2020-11-06 23:52:28 +08:00
    今天服务器出了点问题,故障了十几个小时,已恢复
    Anna1879
        43
    Anna1879  
       2020-11-11 02:31:31 +08:00
    已 star,太感谢了
    wangtiezhu
        44
    wangtiezhu  
       2020-11-16 16:23:59 +08:00
    老哥,后期会考虑弄公众号图标吗,目前正在安卓端测试哪些软件可以用,有的还得 fanqiang 才能看到
    0o0O0o0O0o
        45
    0o0O0o0O0o  
    OP
       2020-11-16 18:24:41 +08:00
    @wangtiezhu

    #44

    公众号图标是指公众号头像吗?考虑过,你看展示页面其实也有头像的,但是不是 RSS 工具都支持展示 icon/logo 呢?

    有国内镜像的,展示页面右上角可以切换。
    0o0O0o0O0o
        46
    0o0O0o0O0o  
    OP
       2020-11-19 12:50:38 +08:00
    稳定抄录两个月~当前 2000 余个
    0o0O0o0O0o
        47
    0o0O0o0O0o  
    OP
       2020-11-29 15:24:56 +08:00
    @0o0O0o0O0o

    服务器又出了岔子,考虑迁移一下
    0o0O0o0O0o
        48
    0o0O0o0O0o  
    OP
       2020-11-29 16:56:14 +08:00
    @0o0O0o0O0o

    #47

    已恢复
    mywaiting
        49
    mywaiting  
       2020-12-13 22:08:08 +08:00
    mark 备用~~~

    最近需要跟踪 N 多的公众号更新,mark 一个,万一贴主会私信我如何实现抓数据的方法呢[~醒醒~]
    0o0O0o0O0o
        50
    0o0O0o0O0o  
    OP
       2020-12-13 22:32:29 +08:00
    @mywaiting

    #49

    N<7000 的话你可以写个脚本处理下提 pr 然后跟踪它,不过如果频率要求很高就不行了,你可以看 readme 中的更新时间
    mywaiting
        51
    mywaiting  
       2020-12-13 23:05:50 +08:00
    @0o0O0o0O0o #50 几番折腾,大概知道你是怎么拿到如此巨量公众号更新的,我还有点工程化的小问题解决

    还是挺感谢你提供这么一种可能性,不然看看就觉得没啥希望的事情了~~~

    BTW

    友情暗示,这货有商用的可能的,可以考虑一下商用的可能,现成的例子就是 werss
    0o0O0o0O0o
        52
    0o0O0o0O0o  
    OP
       2020-12-13 23:27:41 +08:00 via iPhone
    @mywaiting

    #51

    恭喜恭喜

    我发布服务前有调研过,知道有一些同类的商业化服务,但认真计较的话还是违法的,所以还是免费服务到成本太高的那天就停止服务吧。
    0o0O0o0O0o
        53
    0o0O0o0O0o  
    OP
       2020-12-13 23:29:36 +08:00 via iPhone
    @mywaiting

    #51

    不开源并坚持声明我是手动抄录的顾虑也在于此
    mywaiting
        54
    mywaiting  
       2020-12-13 23:35:42 +08:00
    @0o0O0o0O0o #53 这样的服务开源是不可能的,毕竟见光即刻 die

    违法这事情还是有多种方法规避吧,有很多思路能合理合法(也不是那么合法不过不会惹事上身就是了)地搬运这些内容的

    还是感谢贴主的免费服务,多谢!!!
    0o0O0o0O0o
        55
    0o0O0o0O0o  
    OP
       2020-12-16 21:27:19 +08:00
    服务器宕了十几个小时,已修复
    0o0O0o0O0o
        56
    0o0O0o0O0o  
    OP
       2021-01-19 18:42:56 +08:00
    gitee 同步最近出了点问题,暂时已修复
    0o0O0o0O0o
        57
    0o0O0o0O0o  
    OP
       2021-01-25 20:42:01 +08:00 via iPhone
    试着用奇怪的办法处理了下图标,各位平时用阅读器的可以帮忙测试下,有别的好思路可以共同讨论,参见 issue #895
    0o0O0o0O0o
        58
    0o0O0o0O0o  
    OP
       2021-01-25 22:45:10 +08:00
    @0o0O0o0O0o

    #57

    目前 Feedbro 、Reeder 3 、Newsify 、RSS Feed Reader (Chrome)、NetNewsWire 支持显示不同图标了
    Notzuonotdied
        59
    Notzuonotdied  
       2021-01-31 15:41:47 +08:00
    你这个太 nice 了吧
    yhkang
        60
    yhkang  
       2021-02-02 11:19:14 +08:00
    很不错
    0o0O0o0O0o
        61
    0o0O0o0O0o  
    OP
       2021-03-05 11:43:52 +08:00 via iPhone
    为什么昨天突然新增了好多 star,发生了什么(°°〃)
    saimax
        62
    saimax  
       2021-03-16 10:13:06 +08:00
    用了好几个月了,来顶一下。一边见人就宣传,一边又怕知道的人多了会有停止服务的那天,纠结
    0o0O0o0O0o
        63
    0o0O0o0O0o  
    OP
       2021-03-16 11:13:29 +08:00 via Android
    @saimax #62

    感谢感谢。

    由于托管在 github 上,所以最大头的服务器费用反而省了,所以成本上还好;至于法律风险嘛,是由不知疲倦的我手动抄录的,也不牟利,腾讯应该也没法这么霸道

    唯一可能造成停止服务的情况是腾讯加大了抄录的难度,这个和使用的人数关系不大,只能说是腾讯生态的趋势,总有那么一天的
    0o0O0o0O0o
        64
    0o0O0o0O0o  
    OP
       2021-03-31 17:26:11 +08:00 via Android
    今天总算超过 5000 个了
    hdjs5264
        65
    hdjs5264  
       2021-05-01 14:32:28 +08:00
    哇好人,感谢
    0o0O0o0O0o
        66
    0o0O0o0O0o  
    OP
       2021-05-10 13:38:16 +08:00 via Android
    犹豫了大半年,今天因为 #2408 终究还是决定放弃全文 RSS 的计划,使用本项目如果有全文需求还是请各位借助阅读器吧
    0o0O0o0O0o
        67
    0o0O0o0O0o  
    OP
       2021-05-10 20:00:44 +08:00
    由于一些原因,移除了 gitee 的同步,将只更新 github,说声抱歉
    saimax
        68
    saimax  
       2021-05-11 08:50:59 +08:00
    @0o0O0o0O0o 安全第一~
    0o0O0o0O0o
        69
    0o0O0o0O0o  
    OP
       2021-05-11 22:53:45 +08:00
    服务器挂了,联系客服中
    0o0O0o0O0o
        70
    0o0O0o0O0o  
    OP
       2021-05-11 23:33:36 +08:00
    @0o0O0o0O0o #69 已恢复
    0o0O0o0O0o
        71
    0o0O0o0O0o  
    OP
       2021-05-22 16:23:23 +08:00 via iPhone
    6000 个了
    0o0O0o0O0o
        72
    0o0O0o0O0o  
    OP
       2021-06-03 12:29:43 +08:00 via Android
    昨天和今天被刷屏新增了一千多个荐股公众号,虽然有点恶意揣测,但感觉是拿本项目当爬虫用而不是 RSS 。

    目前总共七千多个了,离一万个的限额不远了。
    fghshunzi
        73
    fghshunzi  
       2021-06-09 16:59:41 +08:00
    @0o0O0o0O0o 帅哥 10000 个很快被占掉了 下面会新增吗
    0o0O0o0O0o
        74
    0o0O0o0O0o  
    OP
       2021-06-09 20:49:24 +08:00
    @fghshunzi #73 见 issue 讨论,我先将上限调节到了 20000,但之后的具体措施仍待讨论
    fghshunzi
        75
    fghshunzi  
       2021-06-22 21:24:52 +08:00
    @0o0O0o0O0o 凉凉了吗?
    0o0O0o0O0o
        76
    0o0O0o0O0o  
    OP
       2021-06-22 22:27:35 +08:00 via iPhone
    @fghshunzi 很有可能
    fghshunzi
        77
    fghshunzi  
       2021-06-22 22:30:50 +08:00
    @0o0O0o0O0o 是被微信封杀了?
    crisrock
        78
    crisrock  
       2021-06-23 10:47:43 +08:00
    @0o0O0o0O0o 是被微信封了?
    caryRowen
        79
    caryRowen  
       2021-06-30 13:09:35 +08:00
    @codeforyou 可惜了。
    hvboekml
        80
    hvboekml  
       2021-08-21 14:51:40 +08:00
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5482 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 49ms UTC 09:07 PVG 17:07 LAX 02:07 JFK 05:07
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86