怎么备份微博数据呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
clino
V2EX    问与答

怎么备份微博数据呢?

  •  
  •   clino 2014-10-23 12:55:54 +08:00 6003 次点击
    这是一个创建于 4011 天前的主题,其中的信息可能已经有所发展或是发生改变。
    搜了一下貌似木有好用的,像 http://app.weibo.com/detail/3P84CB?ref=samedeveloper 这个看起来不能用

    不管是工具还是网页应用都可以

    突然想起来要做备份是因为某个全网封杀...
    21 条回复    2014-10-26 21:39:38 +08:00
    staticor
        1
    staticor  
       2014-10-23 13:15:30 +08:00
    第三方客户端实现的算吗? http://www.beyondcow.com/miao/
    aliuwr
        2
    aliuwr  
       2014-10-23 13:29:42 +08:00
    在 ifttt 弄个任务.
    Yvette
        3
    Yvette  
       2014-10-23 14:02:07 +08:00 via iPhone
    淘宝
    clino
        4
    clino  
    OP
       2014-10-23 14:12:06 +08:00
    @staticor 这个我木有mac...
    @aliuwr ifttt 可以备份? 配好了应该是新的能触发吧,旧的也行吗? 我比较希望备份成文件这种方式
    @Yvette ??
    dcty
        5
    dcty  
       2014-10-23 14:35:01 +08:00
    自己用微博的API拉一下数据就好了
    clino
        6
    clino  
    OP
       2014-10-23 15:05:01 +08:00
    @dcty 也对,找了一个 python 库,之后试试看: https://pypi.python.org/pypi/weibo/0.2.2
    nikolai
        7
    nikolai  
       2014-10-23 15:09:31 +08:00
    自由微博 →_→
    staticor
        8
    staticor  
       2014-10-23 15:13:50 +08:00
    这一点体现weibo和twitter的差距了

    不付费的用户只是等着被平台卖的产品.
    zouxcs
        9
    zouxcs  
       2014-10-23 15:54:59 +08:00
    还在用weibo。。。
    yakiang
        10
    yakiang  
       2014-10-23 16:38:41 +08:00   2
    现在的微博API已经限制了最多返回一个用户的最新2000条微博,也就是说如果你的微博数大于2000,任何第三方应用或你自己用API都没办法完整备份的。
    但我自己通过 m.weibo.cn 抓包发现一个可以抓取一个用户所有公共微博的接口(自己F12看下都能发现),通过这个接口前两周把自己8000条微博都 backup 了下来,然后用 API 批量都删了 -。-
    hqfzone
        11
    hqfzone  
       2014-10-23 16:45:36 +08:00
    自己微博不多,写了个简单的PHP,通过API把微博都备份了一下,然后发现以前好多转发的都被删了……
    Nourl
        12
    Nourl  
       2014-10-23 16:50:42 +08:00
    微博 --- RSS --- IFTTT --- Evernote

    几乎实时的备份,目前在用。
    20150517
        13
    20150517  
       2014-10-23 20:02:58 +08:00   1
    推荐一个自己写的,备份到mongo,所有数据全部备份,包括评论,图片也存下来成高清
    https://github.com/steven-shi/Wblogger
    clino
        14
    clino  
    OP
       2014-10-23 20:51:06 +08:00
    @20150517 听起来很棒阿,能不能以其他方式备份,如保存成文件?
    yakiang
        15
    yakiang  
       2014-10-23 21:32:28 +08:00
    @20150517 这个目测同样有2000条的限制吧?
    20150517
        16
    20150517  
       2014-10-23 21:39:03 +08:00 via Android
    @yakiang 一小时2k条吧还是一天的?你可以给celery一个rate,让他慢慢爬就是了
    jason52
        17
    jason52  
       2014-10-23 21:40:33 +08:00
    我用过这个

    ===

    如果不能使用请进官网下载最新版 www.dgmcu.com/sinawbbf.html

    注意:
    本软件备份微博消息不限制条数。可增量备份。
    Win7 用户要以管理员身份来运行,否则出现“无法访问”的错误。
    重要:为防止密码泄露,在公用电脑登陆时,请不要勾选“记住登陆状态”
    有些杀毒软件会误报有病毒,请设为信任后再操作,否则可能出现下载都是空白的。作者保证没有任何病毒代码或者盗取密码,输密码窗口只相当于打开一个IE。如不放心可在还没输密码前按 CTRL + N ,在弹出的新IE窗口中登录,成功后在备份软件窗口按F5刷新,就已是登录状态了。
    请勿下载色情与版权微博,否则后果自负。
    本软件完全免费,每次使用都借贵微博写一条消息替为宣传(每天最多一条),恳请各位用户手下留情勿于删除,因使用者多了作者才会花更多精力去完善此软件。谢谢!
    XP用户如出现如下错误,说明本机没有.Net Framework2.0 sp2 或以上的运行库,可到http://dl.pconline.com.cn/html_2/1/82/id=10637&pn=0.html下载安装。

    不想重新发明轮子了
    jason52
        18
    jason52  
       2014-10-23 21:43:47 +08:00
    抓过caoz的所有微博


    tk的


    20150517
        19
    20150517  
       2014-10-23 21:44:06 +08:00 via Android
    @clino 你fork个把我写mongo的改成写文件就是了,因为是结构化的数据,所以我写mongo方便以后再读取
    jason52
        20
    jason52  
       2014-10-23 21:45:03 +08:00
    虽然感觉很low,但是他真的work。
    icedx
        21
    icedx  
       2014-10-26 21:39:38 +08:00
    @jason52 好文共勉区的太吓人了...
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5480 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 06:45 PVG 14:45 LAX 23:45 JFK 02:45
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86