高价求微信公众号爬虫 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
solesschong
V2EX    外包

高价求微信公众号爬虫

  •  
  •   solesschong 2015-07-28 15:56:51 +08:00 1957 次点击
    div class="outdated">这是一个创建于 3737 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司想搞一个微信爬虫,爬公众号文章以及点赞数。

    已经看到了许多实现的案例,他们都能爬取各种公众号的文章阅读以及点赞数。

    datastory.cn weizhishu.com fxbiao.net 

    要求

    1. 爬出任意公众号的文章内容,阅读量,点赞数
    2. 系统扩展性强
    3. 系统性能高
    4. 短时间内不会被封,渠道稳定
    33 条回复    2015-08-12 22:57:31 +08:00
    deben
        1
    deben  
       2015-07-28 16:03:57 +08:00
    只做过抓文章的……点赞和阅读没有弄
    ps 公众号文章现在做防盗链了,要自己弄图床
    fising
        2
    fising  
       2015-07-28 16:07:11 +08:00
    他这都是从搜狗抓取的
    deben
        3
    deben  
       2015-07-28 16:08:22 +08:00
    @fising 搜狗抓会干掉IP,之前有试过
    fising
        4
    fising  
       2015-07-28 16:14:03 +08:00
    @deben 移动网 IP 也能干吗?
    IFoon
        5
    IFoon  
       2015-07-28 16:16:52 +08:00
    顶你一下,顺便mark,看有没有高手。
    1oscar
        6
    1oscar  
       2015-07-28 16:19:09 +08:00
    没有联系方式,怎么联系你
    imlonghao
        7
    imlonghao  
       2015-07-28 16:25:45 +08:00 via Android
    有兴趣,想试试,但是不知道会遇到什么坑。
    爬过v2ex

    Telegram, imlonghao
    ljcarsenal
        8
    ljcarsenal  
       2015-07-28 16:25:57 +08:00
    fxbiao.net 爬虫部分是我做的 当然当时代码写得比较挫。你们要做的话,需要进行重构。可以联系下
    solesschong
        9
    solesschong  
    OP
       2015-07-28 16:32:54 +08:00
    @ljcarsenal 你的是带阅读量的,这个比较少见,希望联系一下。价格好商量。能给一下微信号吗?谢谢
    solesschong
        10
    solesschong  
    OP
       2015-07-28 16:33:21 +08:00
    @fising 不都是从搜狗爬的。
    @1oscar 请你提供一下微信号,谢谢。
    solesschong
        11
    solesschong  
    OP
       2015-07-28 16:33:43 +08:00
    @imlonghao 坑特别多啊。你试试看。
    Moker
        12
    Moker  
       2015-07-28 16:38:05 +08:00
    推荐下pyspider
    zenxds
        13
    zenxds  
       2015-07-28 16:42:09 +08:00
    最近通过搜狗抓公众号文章内容,点赞数跟阅读数现在好像没有,有兴趣的话联系我
    mcone
        14
    mcone  
       2015-07-28 16:48:30 +08:00
    之前做过**通过搜狗**抓微信的东西,比较简单,有时会会挂,就不出来献丑了……

    悄悄说一句,可能是由于微信的特点,似乎用蜂窝网络的ip好一些(个人经验,不知道对错)
    ljcarsenal
        15
    ljcarsenal  
       2015-07-28 17:03:58 +08:00
    @solesschong 我现在在公司 网络限制 上网不太方便,我晚上联系你吧?
    xujif
        16
    xujif  
       2015-07-28 17:34:22 +08:00
    搜狗爬文章,无需代理,稳定可靠,现在已经运行3个月。 点赞数可以用51tools接口获得,需要联系我
    八195八517
    macken
        17
    macken  
       2015-07-28 18:11:31 +08:00
    我一个朋友专门做微信公共帐号文章的抓取工作,每天100w的抓取量,包括阅读数、点赞数
    solesschong
        18
    solesschong  
    OP
       2015-07-28 20:00:38 +08:00
    @macken 求联系方式,谢谢
    @xujif 已经加好友
    xujif
        19
    xujif  
       2015-07-28 21:22:06 +08:00 via iPhone
    @solesschong 没收到,你的QQ?
    shooter
        20
    shooter  
       2015-07-28 22:35:12 +08:00
    防盗链可以规避, 可以不用自己做图床

    做过类似的东西, 通过搜狗接口, 爬取文章内容

    我感觉 http://chuansong.me/ 的文章很全, 不受搜狗 api 的限制

    可以加 telegram 联系
    macken
        21
    macken  
       2015-07-29 10:08:52 +08:00
    @solesschong id就是微信号
    sciooga
        22
    sciooga  
       2015-07-30 19:51:39 +08:00
    @1oscar
    @imlonghao
    @ljcarsenal
    @zenxds
    @xujif
    @shooter
    @macken

    是这样的,我现在在爬 V2EX 分析出一些有意思的主题,其中一个主题和楼主有关,贴出来给大家参考一下,请自行判断: /t/184818
    macken
        23
    macken  
       2015-07-30 21:10:24 +08:00
    @sciooga 应了那句话出来话总是要还的,@sciooga 还分析出什么有意思的东西啦 分享下
    sciooga
        24
    sciooga  
       2015-07-30 21:13:22 +08:00
    @macken 目前还是在自己的小圈子分享过段时间再公开,我加你微信先私下聊聊呗~
    muzixinly
        25
    muzixinly  
       2015-08-03 13:06:44 +08:00
    我把自己关注的50来个公众号,定期从搜狗爬取,放到PC上看 ,这么小的量都容易被封,不知道这种爬全站数据的如何抓的哈
    wog
        26
    wog  
       2015-08-03 13:24:22 +08:00
    @muzixinly 不会吧,我抓都没事,你是不是没设置爬虫的UA
    muzixinly
        27
    muzixinly  
       2015-08-03 14:20:25 +08:00
    @wog 有设置ua,而且会随机变换
    solesschong
        28
    solesschong  
    OP
       2015-08-03 15:33:01 +08:00
    @sciooga 那篇帖子严重失实,希望网友有判断能力
    jhdxr
        29
    jhdxr  
       2015-08-04 01:19:02 +08:00
    @solesschong 全是截图,没看出能『失实』的地方,更别提『严重失实』了。看了 http://v2ex.com/t/210465 的话我相信你会发现广大网友还是能有判断能力的
    ncwhale
        30
    ncwhale  
       2015-08-04 01:32:00 +08:00
    敢逐字立合同么喵?
    solesschong
        31
    solesschong  
    OP
       2015-08-04 01:32:48 +08:00
    @muzixinly 从搜狗爬会比较容易被封。但是其他的方法是从微信公众平台爬,看起来不那么容易被封。
    muzixinly
        32
    muzixinly  
       2015-08-05 17:26:14 +08:00
    @solesschong 从微信公众平台如何爬呢?
    nareix
        33
    nareix  
       2015-08-12 22:57:31 +08:00
    请问怎么联系?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     953 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 20:37 PVG 04:37 LAX 13:37 JFK 16:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86