2018 年了,支持字节级同步(差分编码)的网盘有哪些,技术实现很困难吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xinhugo
V2EX    问与答

2018 年了,支持字节级同步(差分编码)的网盘有哪些,技术实现很困难吗?

  •  
  •   xinhugo 2018-06-23 23:59:03 +08:00 8627 次点击
    这是一个创建于 2685 天前的主题,其中的信息可能已经有所发展或是发生改变。
    带同步功能的网盘,几乎都支持文件级的差异同步(只上传修改过的文件)。但很多都不支持“字节级”的差异同步。

    采用这种同步方式,网盘客户端会分析某个文件被修改的部分,然后只上传修改过的那些字节。这里面用到一种技术叫“差分编码”(洋文叫“ Delta Encoding ”)。

    测试方法:假如你手头已经有一个加密盘(至少是上百兆的),先把加密盘的“卷文件”同步到网盘。然后在加密盘中“修改某个小文件”或“增加某个小文件”。然后再把加密盘的卷文件同步一次。如果第二次同步很快完成,说明该网盘的客户端支持“字节级差异同步”。


    已知 Dropbox 是支持该技术的,网传 OneDrive 已经支持“字节级差异同步”,今天测试发现 OneDrive 竟然无法监测到加密盘的卷文件已经发生变化,把修改后的加密盘的卷文件覆盖修改前的,客户端完整上传整个文件。

    Google Drive 还没测试,尝试在网页版上零散文件归类到一个新建目录,观察到客户端是删除本地的文件再重新下载,看起来文件级的差异同步都没有做好。
    25 条回复    2020-09-25 02:04:39 +08:00
    dlsflh
        1
    dlsflh  
       2018-06-24 00:29:17 +08:00 via Android
    Google 做的最差
    xinhugo
        2
    xinhugo  
    OP
       2018-06-24 01:01:33 +08:00
    再次测试了一次 Google Drive 的 Windows 客户端,网页版移动文件,客户端能在本地直接移动而不是直接下载。

    加密卷文件和 OneDrive 客户端一样,无法监测到文件的变化,不支持字节级的差异同步。

    OneDrive 的差分同步,可能仅限于自家的 Office 文件。
    leaf
        3
    leaf  
       2018-06-24 01:06:46 +08:00
    国内的坚果云应该是支持的
    xinhugo
        4
    xinhugo  
    OP
       2018-06-24 01:18:36 +08:00
    Windows 下本地同一个文件,直接在本地同一位置复制、粘贴,Google Drive / OneDrive 均需要重新完整上传,Dropbox 仍然能秒传,同步功能完全没可比性。
    Sharuru
        5
    Sharuru  
       2018-06-24 01:24:07 +08:00
    因为做出来用户少呗……

    国内有一款叫坚果云的产品支持(官方描述叫“增量备份”),而且个人觉得各方面都用起来比弄丢我文件的 DropFile 顺手。

    不仅能够多文件夹任意同步而且还能免费使用 DropFile 收费才能使用的 Smart Sync 功能。
    额外还提供了 WebDav,走到哪里都可以简单的使用。

    除了付费情况下,总容量没有 DropFile 的大(真的有 1TB 的内容要随时同步?)

    可是坚果云不用翻墙,速度爽爽的。
    lihua
        6
    lihua  
       2018-06-24 01:45:24 +08:00 via Android
    @Sharuru dropfile 是?
    msg7086
        7
    msg7086  
       2018-06-24 04:23:28 +08:00
    跑个题,OneDrive for Business 对文件的每次更改都会进修改历史,而修改历史……是算容量的。
    比如你传了个 10G 的文件,然后修改了 10 次 Last Modified Time,你 Quota 里就少了 110G ……
    不知道个人版是不是也这样,我没试。不过如果你遇到剩余空间越来越小的情况可以看下这个坑。
    bsfx2
        8
    bsfx2  
       2018-06-24 07:11:05 +08:00
    @lihua 他在 meme drop 掉他 file 的 Dropbox。
    xinhugo
        9
    xinhugo  
    OP
       2018-06-24 08:55:45 +08:00
    @Sharuru 说实在的话,对国内商业软件除了干本职工作外还会主动或被动做些什么是比较担忧的,它的基础设施也在朝内。

    看了下坚果云的帮助文件,“压缩文件(常见的压缩文件除了压缩包以外,还包括 jpg,png 和 tiff,各种视频文件等。)和加密过的文件(不包括加密过的 Office 文件),不支持增量同步;”,VeraCrypt 加密卷文件,Dropbox 是能增量同步的,可能技术上 Dropbox 会强一些。


    帮助文件没看到相关信息,暂时在 OneDrive 上的资料比较少,还准备传一些工作文件过去,如果真是这样的话,5G 的免费版本两下就没了。
    @msg7086
    doubleflower
        10
    doubleflower  
       2018-06-24 08:57:45 +08:00 via Android
    可能是觉得用到的场景不多?一般的文件改一下上传一下也花不了多长时间。如果是大文件的话,视频什么的,都是有特定的编码的,你即使改一点点,整个文件的字节都全变了。
    xinhugo
        11
    xinhugo  
    OP
       2018-06-24 08:58:27 +08:00
    假如你的系统重新安装了,你同步的文件并无变化,重新安装 OneDrive 你的文件需要重新上传?
    @msg7086
    changwei
        12
    changwei  
       2018-06-24 18:02:13 +08:00 via Android
    你这个算是伪需求吧,国内人备份的都是 doc,xls,或者 mkv,jpg,这种东西有自己的编码,差异备份用处不大,况且微软也有 onedriver,office 也自带修订。如果是数据库,csv 之类的备份有专门的 iaas 做这个。txt 之类的小说就几 kb 更加没有这个必要,代码的话也有版本控制,不单是差异备份,还有修订和回滚,分支功能。实在想不到网盘需要差异备份的场景。
    xinhugo
        13
    xinhugo  
    OP
       2018-06-24 19:15:15 +08:00
    Dropbox 的“字节级差异同步”,支持 doc 甚至加密卷的增量同步,而不需要完整上传整个文件,达到优化上传速度的目的。

    txt 之类的小说,测试了一下三百万字会去到 6M 左右;书籍类的 doc 文档,一般也接近 100M。


    对于上行带宽资源并不充裕且需要使用代理连接的用户来说,“字节级差异同步”很重要,并不是伪需求。
    @changwei
    Kagari
        14
    Kagari  
       2018-06-24 19:58:06 +08:00 via Android
    #13 请问这个"支持 doc 甚至加密卷的增量同步"里的加密卷是什么,压缩文件、加密的独立分区、加密的 office 文件?
    xinhugo
        15
    xinhugo  
    OP
       2018-06-25 00:37:34 +08:00 via iPhone
    @Kagari VeraCrypt 生成的文件型加密卷。
    msg7086
        16
    msg7086  
       2018-06-25 01:34:20 +08:00
    @xinhugo #11 不需要吧。
    我是自己在编写 OneDrive 客户端的时候,上传完文件会设置一下修改日期成本地原始日期,结果发现容量成倍地掉,才发现了这个坑。
    xinhugo
        17
    xinhugo  
    OP
       2018-06-25 05:10:31 +08:00 via iPhone
    @msg7086 Google Drive 有这个坑吗?看起来两家在同步功能上都不上心,LAN 同步加速、已有文件秒传这样的基础功能都没有,如果重装系统,岂不是又要上传一遍。
    msg7086
        18
    msg7086  
       2018-06-25 10:20:06 +08:00
    @xinhugo 重装系统为什么要重新上传一遍?
    GD 我用的无限空间版,所以没法看 Quota。但是应该没这个坑的。(话说 GD 有历史版本么?)
    xinhugo
        19
    xinhugo  
    OP
       2018-06-25 10:31:15 +08:00 via iPhone
    因为已经同步的文件本地拷贝副本后,Google Drive 会完整上传该副本。
    历史版本有的,没测试是否占用空间。
    @msg7086
    msg7086
        20
    msg7086  
       2018-06-25 10:33:35 +08:00
    重装系统的话,文件没变,不会重新上传的,只会重新索引。
    xinhugo
        21
    xinhugo  
    OP
       2018-06-25 10:56:57 +08:00 via iPhone
    15 年时候试过会重新传,Dropbox 才能做到只索引,你测的是什么版本?
    @msg7086
    msg7086
        22
    msg7086  
       2018-06-25 11:46:16 +08:00
    @xinhugo 我不用 GD 同步盘的,1D 重装系统直接同步我记得没问题的?也可能我记错了。
    moxuanyuan
        23
    moxuanyuan  
       2019-07-02 12:22:57 +08:00
    @msg7086 怪不得我 5T 的教育账号,同步的文件大约只有 250G,但用了 1T 空间。。。这个问题,如何清历史文件呢?
    msg7086
        24
    msg7086  
       2019-07-02 13:39:39 +08:00
    @moxuanyuan 点进文件历史慢慢删吧。
    moonc5914
        25
    moonc5914  
       2020-09-25 02:04:39 +08:00
    目前 OneDrive 已经支持完整功能的增量同步了,实测 Bitlocker 加密的虚拟硬盘可以增量同步。6 人拼车家庭版一年也就 50 左右,已然 Windows 最佳同步盘选择。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5212 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 08:19 PVG 16:19 LAX 01:19 JFK 04:19
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86