有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
61.5D
439.86D
V2EX    Amazon Web Services

有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket?

  •  
  •   Livid
    PRO
    2018-10-23 09:12:35 +08:00 7157 次点击
    这是一个创建于 2543 天前的主题,其中的信息可能已经有所发展或是发生改变。
    37 条回复    2018-10-24 09:56:04 +08:00
    sNullp
        1
    sNullp  
       2018-10-23 09:13:45 +08:00
    楼主是要一次性上传还是要支持增量更新?
    isCyan
        2
    isCyan  
       2018-10-23 09:14:32 +08:00 via Android
    minio client
    github.com/minio/mc
    有 mirror 命令,我用起来还可以
    plqws
        3
    plqws  
       2018-10-23 09:15:04 +08:00
    用 s3 sdk 写个这种功能的同步工具应该不难
    Em5O7B1JGfjQnBry
        4
    Em5O7B1JGfjQnBry  
       2018-10-23 09:15:19 +08:00 via Android
    S3-fuse
    Livid
        5
    Livid  
    MOD
    OP
    PRO
       2018-10-23 09:23:40 +08:00
    @sNullp 能够靠谱地一次性传上去就好。
    fireapp
        6
    fireapp  
       2018-10-23 09:26:35 +08:00 via iPhone   1
    s3fs,把 s3 bucket 挂载成本地磁盘,然后 mv
    Livid
        7
    Livid  
    MOD
    OP
    PRO
       2018-10-23 09:28:44 +08:00
    @fireapp 理论上这样是不是也可以用 rsync 了?
    caizixian
        8
    caizixian  
       2018-10-23 09:31:22 +08:00   1
    `aws s3 sync`?
    Xrong
        9
    Xrong  
       2018-10-23 09:32:56 +08:00
    https://aws.amazon.com/cli/ 用官方的 cli 就行了
    mangoDB
        10
    mangoDB  
       2018-10-23 09:33:53 +08:00
    官网应该有对应的 s3fs 吧,我猜测的。
    imnpc
        11
    imnpc  
       2018-10-23 09:35:51 +08:00
    @Livid 挂载以后可以 rsync 但是读写次数会很高 以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写
    fireapp
        12
    fireapp  
       2018-10-23 09:37:16 +08:00 via iPhone   1
    @Livid 透明的,跟本地盘一样
    Vieufoux
        13
    Vieufoux  
       2018-10-23 09:38:47 +08:00
    kslr
        14
    kslr  
       2018-10-23 09:50:40 +08:00 via Android
    Rclone
    kslr
        15
    kslr  
       2018-10-23 09:51:48 +08:00 via Android
    我每天都要同步几百 g 的数据
    ayang23
        16
    ayang23  
       2018-10-23 09:51:56 +08:00
    orzjerry
        17
    orzjerry  
       2018-10-23 09:58:20 +08:00
    s3fs 可以 mount 到本地当作本地磁盘,rsync 也是可以的但是磁盘性能真的是不好。
    lynnX
        18
    lynnX  
       2018-10-23 10:02:14 +08:00
    GoodSync 一直在用 很方便
        19
    xw  
       2018-10-23 10:11:48 +08:00
    s3cmd
    Les1ie
        20
    Les1ie  
       2018-10-23 10:21:43 +08:00   1
    让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)
    iConnect
        22
    iConnect  
       2018-10-23 10:37:51 +08:00
    比较好奇 v 站怎么一攻击就死的硬硬的,没有一点复活能力(除了等站长起床)
    iConnect
        23
    iConnect  
       2018-10-23 10:38:04 +08:00
    devtk
        24
    devtk  
       2018-10-23 10:42:44 +08:00
    Mountain Duck
    sunnyadamm
        25
    sunnyadamm  
       2018-10-23 11:09:12 +08:00
    @Les1ie 周天 504,不是昨天
    zhaogaz
        26
    zhaogaz  
       2018-10-23 11:17:15 +08:00
    群晖就有这功能。 我觉得挺好的
    ReVanTis
        27
    ReVanTis  
       2018-10-23 11:32:32 +08:00
    注意一点,s3 并不是文件系统而是面向对象的存储。
    试图从文件系统直接进行同步可能不能保留所有的文件信息,包括权限、修改日期等。
    likuku
        28
    likuku  
       2018-10-23 14:20:14 +08:00
    记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3
    likuku
        29
    likuku  
       2018-10-23 14:24:56 +08:00
    #28 找到了:

    "管理对象
    高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同,使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。"

    from:
    通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html


    sync AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
    PureWhiteWu
        30
    PureWhiteWu  
       2018-10-23 14:29:12 +08:00
    我是用的 cloudmounter,感觉还不错
    pythonee
        31
    pythonee  
       2018-10-23 14:35:28 +08:00
    我也有同样的诉求
    laxenade
        32
    laxenade  
       2018-10-23 16:37:09 +08:00 via Android
    题外话,建议站长顺便把多版本打开(
    kennylam777
        33
    kennylam777  
       2018-10-23 17:54:25 +08:00
    rclone +1, 因有多程
    phithon
        34
    phithon  
       2018-10-23 18:04:05 +08:00
    一直用的 https://github.com/s3tools/s3cmd
    直接可以把整个目录传上去
    cxbig
        35
    cxbig  
       2018-10-23 18:46:03 +08:00
    做份用 aws s3 sync 配合 S3 版本控制就不
    再一用 aws s3 cp --recursive 速度快些
    不合大批量小文件,效率不高。服器在 AWS 之外的也影效率
    mattx
        36
    mattx  
       2018-10-23 19:33:11 +08:00
    @lynnX goodsync 挺贵的。
    lynnX
        37
    lynnX  
       2018-10-24 09:56:04 +08:00
    @mattx #36 嗯,是的!之前有限免弄了一个。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     860 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 21:08 PVG 05:08 LAX 14:08 JFK 17:08
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86