跨国传输文件有什么好方案, ftp/rsync 好像比较慢 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
chennqqi
V2EX    云计算

跨国传输文件有什么好方案, ftp/rsync 好像比较慢

  •  
  •   chennqqi 2021-07-27 20:34:06 +08:00 5660 次点击
    这是一个创建于 1535 天前的主题,其中的信息可能已经有所发展或是发生改变。
    RT,ftp/rsync 好像比较慢,是不是用 UDP 会好一些。求个最佳方案,国际带宽是真的贵,也不想走第三方的盘。
    39 条回复    2021-08-06 22:13:22 +08:00
    40EaE5uJO3Xt1VVa
        1
    40EaE5uJO3Xt1VVa  
       2021-07-27 20:47:17 +08:00
    多大的文件? 不想走第三方盘? 我刚想说奶牛快传呢
    Osk
        2
    Osk  
       2021-07-27 22:31:01 +08:00
    打包设置密码 /gpg 加密, 然后起一个多线程的 http 服务(nginx, lighttpd, ruby webrick 等随意), 然后, 另一边用 aria2c 等工具下载, 把 aria2c 魔改一下, 整个 256 线程下载.

    我日常单线程 100k, 但 200 个线程就直接跑满带宽了.
    Osk
        3
    Osk  
       2021-07-27 22:31:47 +08:00
    文件不敏感的话打包和加密甚至都可以省略了
    2kCS5c0b0ITXE5k2
        4
    2kCS5c0b0ITXE5k2  
       2021-07-27 22:58:22 +08:00
    udp 出国被 qos 的厉害.
    skys215
        5
    skys215  
       2021-07-27 23:12:36 +08:00 via iPhone
    fladrop.com?
    snapdrop.net?
    哦,不想走三方盘啊…
    suotm
        6
    suotm  
       2021-07-27 23:21:05 +08:00   3
    对象存储,然后不同的 region 传输(同一个服务商)
    minami
        7
    minami  
       2021-07-27 23:21:19 +08:00
    用 nc 传,比 ftp 快
    Actrace
        8
    Actrace  
       2021-07-28 00:02:30 +08:00
    scp 挂个 vxtrans 即可
    changwei
        9
    changwei  
       2021-07-28 02:20:21 +08:00   1
    买几块正常能存数据的二手硬盘,这些硬盘价格通常单价低于 1CNY/0.1G ,然后存满,发国际快递即可,机械硬盘不工作时其实抗震性能也还可以,包装严实一点或者按易碎品价格发货应该也还是蛮安全的吧。
    如果怕机械盘被摔坏,还可以试试看 SSD,SSD 抗震性能绝对没问题,存储芯片是不怕震动的。
    dingwen07
        10
    dingwen07  
       2021-07-28 03:04:57 +08:00 via iPhone   4
    为什么问这种问题的就没几个能把需求说完整?多大的文件、从哪个国家发到哪个国家、速度的要求是什么。你要把文件发到大清还得给你发明台时光机不成?
    ca1123
        11
    ca1123  
       2021-07-28 04:08:54 +08:00   1
    @changwei 干脆做个 RAID, 可以随机坏一块
    zjsxwc
        12
    zjsxwc  
       2021-07-28 08:29:53 +08:00
    无脑 nc 就行
    user0
        13
    user0  
       2021-07-28 08:36:48 +08:00 via Android
    syncthing
    Tink
        14
    Tink  
    PRO
       221-07-28 08:45:47 +08:00 via Android
    1MB ? 1GB ? 1TB ? 1PB ?
    yylzcom
        15
    yylzcom  
       2021-07-28 08:51:24 +08:00
    瓶颈在于你这边的上传速度,如果你这边上传速度足够快:

    1. 找个速度好一些中转,比如阿里云 /腾讯云香港之类的
    2. 加密打包上传
    3. 用 Nginx, 让对方直接多线程拉
    4. 如果速度还是不行,再找一个类似 vultr 之类的中转一下,服务器之间拉取文件是非常快的
    defage
        16
    defage  
       2021-07-28 08:59:35 +08:00
    上 T 或 P 的数据,远距离传输最快的方式就是 磁盘快递,或者随身带过去 =。=
    jyao
        17
    jyao  
       2021-07-28 09:02:01 +08:00
    上传 oss 应该体验会好很多
    dangyuluo
        18
    dangyuluo  
       2021-07-28 09:07:32 +08:00
    没说数据量问了等于白问
    zzutmebwd
        19
    zzutmebwd  
       2021-07-28 09:07:56 +08:00
    微力同步,沾满带宽,极快。
    hary03
        20
    hary03  
       2021-07-28 09:28:10 +08:00 via Android
    点对点吗?最近碰到个叫 croc 的传文件工具,原理类似 firefoxsend,希望对你有帮助
    ch2
        21
    ch2  
       2021-07-28 09:31:07 +08:00
    把文件加密,然后走 onedrive,嫖 onedrive 的宽带
    cloverzrg2
        22
    cloverzrg2  
       2021-07-28 09:32:46 +08:00
    1PB 的话可以把硬盘寄过去
    Rebely
        23
    Rebely  
       2021-07-28 09:35:50 +08:00
    通过 ssh 走代理呗
    sftp 和 rsync 都有 通过 ssh 代理的设置
    blackzhy
        24
    blackzhy  
       2021-07-28 09:52:40 +08:00
    大文件的话,还不如直接存硬盘里,让人肉身出国带过去
    clino
        25
    clino  
       2021-07-28 10:04:32 +08:00
    可以试试这个: https://github.com/schollz/croc
    oldphper
        26
    oldphper  
       2021-07-28 11:30:41 +08:00
    用 sftp,想办法给这个 sftp 端口加速。
    fqzz
        27
    fqzz  
       2021-07-28 17:14:20 +08:00
    咋没人说 qq 邮箱哩
    Deteriorator
        28
    Deteriorator  
       2021-07-28 17:31:10 +08:00
    P2P 吧,慢慢来
    flynaj
        29
    flynaj  
       2021-07-28 21:13:37 +08:00 via Android
    syncthing 可以满带宽同步
    holinhot
        30
    holinhot  
       2021-07-29 01:40:34 +08:00
    有传输协议关系不大吧。主要是网络能跑起来
    weizhen199
        31
    weizhen199  
       2021-07-29 09:18:22 +08:00
    ftp 是最原的
    PickleFish
        32
    PickleFish  
       2021-07-29 16:44:05 +08:00
    你们都用什么加密文件?
    zzw1998
        33
    zzw1998  
       2021-08-03 16:55:05 +08:00
    如果文件比较大的话,建议用 FedEx 或者 dhl 寄硬盘,这个最快了
    chennqqi
        34
    chennqqi  
    OP
       2021-08-06 21:13:25 +08:00
    @flynaj 目前最优先考虑的是你的方案
    chennqqi
        35
    chennqqi  
    OP
       2021-08-06 21:14:41 +08:00
    @clino 不错
    chennqqi
        36
    chennqqi  
    OP
       2021-08-06 21:15:09 +08:00
    @zzutmebwd 好像是闭源的,也是 syncthing 魔改的吧
    chennqqi
        37
    chennqqi  
    OP
       2021-08-06 21:17:05 +08:00
    @Actrace 也是个方案,感谢!
    chennqqi
        38
    chennqqi  
    OP
       2021-08-06 21:24:04 +08:00
    @ch2 我查了下 onedrive 不是分区的么,不同区计费不同,应该怎么选择。买国外区的国内用,还是国内区的国外用
    ch2
        39
    ch2  
       2021-08-06 22:13:22 +08:00
    @chennqqi #38 都可以,传上去后国外下载都是满速的
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5282 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 09:06 PVG 17:06 LAX 02:06 JFK 05:06
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86