求问 有什么好办法可以下载大量境外数据吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fantasyjm
V2EX    问与答

求问 有什么好办法可以下载大量境外数据吗?

  •  
  •   fantasyjm 2022-12-08 17:35:11 +08:00 3257 次点击
    这是一个创建于 1037 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在美国的实验室( A )有 100TB~的实验数据 想要下载到在大陆的主机( C )上 目前正在用 Syncthing 上传和下载( A )<->( B ),速度只有 1MB/s 左右

    但是从( A )上传数据到 Google Cloud Storage 的速度可以达到 200~300MB/s

    从 Google Cloud 下载到大陆的主机( C )好像比较复杂

    求问各位,有没有更好的方法

    26 条回复    2022-12-11 00:15:50 +08:00
    ComTNT
        1
    ComTNT  
       2022-12-08 17:44:22 +08:00
    One Drive 国内的速度好像还可以
    WinkeyLin
        2
    WinkeyLin  
       2022-12-08 17:53:45 +08:00 via Android   8
    这种情况建议物理邮寄硬盘
    googlefans
        3
    googlefans  
       2022-12-08 17:58:46 +08:00
    有种子
    redegg
        4
    redegg  
       2022-12-08 17:59:36 +08:00 via iPad
    违反当地法律吗?
    RunCax
        5
    RunCax  
       2022-12-08 19:50:22 +08:00   1
    100TB 直接物理邮寄啊。
    RunCax
        6
    RunCax  
       2022-12-08 19:50:42 +08:00   1
    @RunCax 而且实验室的数据,放到公网上真的好吗?
    SenLief
        7
    SenLief  
       2022-12-08 20:02:38 +08:00 via iPhone
    物理快递回来就好了
    longbow0
        8
    longbow0  
       2022-12-08 20:35:57 +08:00
    6 块 18T 的硬盘就行
    如果双方都有磁带机,寄磁带应该更加方便
    要考虑的是能不能出海关
    yaoyaomoe
        9
    yaoyaomoe  
       2022-12-08 20:48:47 +08:00 via iPhone
    1. 速度只有 10mbps 的话 建议确定一下对端是不是走了 relay 两边直接用端口访问看一下。速度和地区也有关,不行强制 tcp 看看?我从 cn 到 kr 能跑满
    2. 100t 的话还是硬盘吧……
    livepps
        10
    livepps  
       2022-12-08 23:49:53 +08:00 via Android
    上传到 onedrive for business ,国内可以之间下载,速度很快,就是不大稳定
    kome
        11
    kome  
       2022-12-08 23:56:44 +08:00
    前段时间, 清华大学的一位教师分享了他从日本传递实验数据的经历, 采用的磁带运输, 这个是当时的直播直播视频链接:
    , 应该可以参考一下.
    netabare
        12
    netabare  
       2022-12-09 06:58:05 +08:00   1
    100TB……最好的办法感觉是买张机票飞过去领回来。
    eason1874
        13
    eason1874  
       2022-12-09 07:45:56 +08:00
    1MB/s ,还没有 OneDrive 快,移动宽带直连 OneDrive 客户端同步都有 5MB/s

    不在乎时间的话,开 OneDrive 商业版慢慢同步

    不差钱的话,用云厂商的对象存储,上传到海外区域,开启跨区域复制,复制到大陆区域,然后从大陆区域下载,200TB 的流量费用得 10 万左右
    eason1874
        14
    eason1874  
       2022-12-09 07:48:01 +08:00
    就现在的网络环境,性价比最高的方式还是邮寄。虽然买存储设备也得好几万,但是可以反复使用。传输加速的 10 万花了就真的花了,渣都不剩
    davelm
        15
    davelm  
       2022-12-09 08:37:26 +08:00
    Syncthing 比较慢,用种子,然后 ipv6 地址来传输,速度会很快
    idblife
        16
    idblife  
       2022-12-09 10:01:19 +08:00
    @eason1874
    哪家云厂商能支持海外区域复制到大陆区域?
    不都是环境隔离的么?
    eason1874
        17
    eason1874  
       2022-12-09 10:11:17 +08:00
    @idblife 大部分都行吧,阿里云腾讯云都有啊。各区域默认是隔离的,跨区域复制是增值服务,需要另外开通。他们还有更贵的增值服务,传输加速域名,都不用等复制,直接用加速域名就可以访问
    OrangeLoveMilan
        18
    OrangeLoveMilan  
       2022-12-09 10:16:39 +08:00
    100T 确实有点大,如果非要使用远程传输的方式, 可以试试买 CN2 的云服务器做代理,,速度应该会比你目前 1MB/s 提高 20~30 倍这样.
    买 CN2 的服务器之前记得做个跳转测试,看看是不是从国内直连到 us 的
    yimiaoxiehou
        19
    yimiaoxiehou  
       2022-12-09 12:50:14 +08:00 via Android
    @idblife 区域复制,加钱
    idblife
        20
    idblife  
       2022-12-09 13:17:12 +08:00
    @eason1874
    @yimiaoxiehou
    哦,了解了,国内云厂商可以这么做。
    aws ,azure 有合规要求不能做
    systemcall
        21
    systemcall  
       2022-12-09 17:13:48 +08:00 via Android
    100tb 最好还是邮寄硬盘或者磁带
    不知道你这 2 个机器直连的速度怎么样,要是速度还可以的话,可以考虑 zerotier ,有可能需要 moon
    如果走 moon 中转估计就很贵了。100TB 的流量,并且国内连接性好,这种机器不便宜吧。那些开机场的可能有这种大盘鸡
    lin559671
        22
    lin559671  
       2022-12-09 23:21:35 +08:00 via Android
    套个 warp 解千愁,电信联通直连 warp 下载速度 500m/s
    ,加速访问 Google cloud
    kice
        23
    kice  
       2022-12-10 04:33:01 +08:00 via Android
    100Mbps 的速度传都要传差不多 100 天。100T 最好还是肉身带回来,如果不是涉及美国国家安全,出境并不难,主要是入国内海关比较悬。至少说把数据拿到物理距离比较近的地方。

    其次的话,就是找个中间代理。优先考虑上传国内云盘,前提是做好加密,即使是简单的 xor 也能防止被炸。大体上准备多个账号,多线程上传,下载倒是还说,毕竟服务器在国内。
    kice
        24
    kice  
       2022-12-10 04:39:16 +08:00 via Android
    其实我觉得这个问题问出来是想要开机场。

    如果真的只是传数据,那么可以和国内机房或者开机场的进行合作,价格相对来说比商业用的加速服务便宜一些。

    syncthing 想要加速的话,多买些服务器进行“做种”。文档里面也写了,节点越多,同步速度越快。

    其实如果时间不是问题,慢慢传得了。
    natsji
        25
    natsji  
       2022-12-10 21:32:29 +08:00 via Android
    100tb 慢慢传 1mb/s 要传三年吧
    ShineyWang
        26
    ShineyWang  
       2022-12-11 00:15:50 +08:00 via Android
    NGA 上有人问了一个类似的问题,你可以参考一下
    https://ngabbs.com/read.php?tid=33011578
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2434 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 15:33 PVG 23:33 LAX 08:33 JFK 11:33
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86