rsync 对数据库增量备份效果怎么样 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
binbinyouliiii
V2EX    数据库

rsync 对数据库增量备份效果怎么样

  •  
  •   binbinyouliiii 2018-09-21 19:47:21 +08:00 2677 次点击
    这是一个创建于 2588 天前的主题,其中的信息可能已经有所发展或是发生改变。

    数据需要备份到本地,但是服务器带宽很小,做增量备份对我来说是个很好的选择。

    但是碍于数据量比较大,带宽小,测试成本较高,所以做一回伸手党,来问下用这个效果么样。

    1.备份出来的数据都是 json 或者 sql 文件,用 gzip 的话压缩率很高,但是这样的是不是增量更新效果会大大减弱?
    2.假设本地文件内容是 aaabbb,服务器内容是 aaacccbbb,增量更新的话是从 ccc 处往后的内容全部更新还是自动只更新 ccc ?

    小弟不胜感激

    13 条回复    2018-09-22 09:55:42 +08:00
    ETiV
        1
    ETiV  
       2018-09-21 20:01:56 +08:00
    binbinyouliiii
        2
    binbinyouliiii  
    OP
       2018-09-21 20:12:46 +08:00
    @ETiV #1 谢谢,不过现在主要是 pgsql 和 mongo
    privil
        3
    privil  
       2018-09-21 20:14:52 +08:00
    在云上面的话,再开一个机器流量计费拖吧,别省这个钱,备份值的。
    binbinyouliiii
        4
    binbinyouliiii  
    OP
       2018-09-21 20:17:47 +08:00
    @privil #3 在云上的话我就直接快照了
    liangzi
        5
    liangzi  
       2018-09-21 20:37:54 +08:00 via Android   1
    第一次运行全部备份 之后都是备份有变化的文件 具体参数怎么写还得看需求 我自己备份 VPS 用这个 不过对于非 root 用户 无法完整备份(比如 sudoer 之类的文件就不能备份) 据说:如果需要完整备份 得在 VPS 上运行 rsync 的 server 才行。PS:root 用户登录 ssh 例外。
    asilin
        6
    asilin  
       2018-09-21 20:38:10 +08:00   2
    gzip 有一个 --rsyncable 选项,专门为 rsync 调优的,你可以试试,看下实际效果。
    westoy
        7
    westoy  
       2018-09-21 20:41:05 +08:00
    主从, 定期停从机进行完整备份
    letitbesqzr
        8
    letitbesqzr  
       2018-09-21 21:45:25 +08:00
    @westoy #7 如果数据量大,会不会有问题,从停太久,恢复以后同步速度跟不上主的新增速度?
    expy
        9
    expy  
       2018-09-21 21:54:46 +08:00
    rsync 有个-z 选项可以试试。
    billlee
        10
    billlee  
       2018-09-21 21:58:12 +08:00
    mysql 增量备份用 binlog
    letitbesqzr
        11
    letitbesqzr  
       2018-09-22 00:02:06 +08:00   2
    @billlee #10 percona-xtrabackup 就是利用 binlog 来增量的,前几个周发布的测试版本总算支持 mysql 8 了,等出正式版支持 mysql 8 就可以考虑上 mysql 8 了。
    likuku
        12
    likuku  
       2018-09-22 00:41:04 +08:00   1
    纯文本的话,rsync 作增量还是 OK 的,尤其是开启了 -z 参数 (#9 楼赞一个),
    注意安全的话,最好再套一个专用 VPN 来加个秘,或者让 rsync 直接呼叫 ssh 起个隧道来通讯(更省事),
    rsync -z 在收发两头都是 linux 条件时工作正常。
    aerostone
        13
    aerostone  
       2018-09-22 09:55:42 +08:00 via Android
    马克一下,现在是云备份,看后续有没有需求
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4874 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 09:41 PVG 17:41 LAX 02:41 JFK 05:41
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86