有什么办法可以实现大文件传输. - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
CatSan
V2EX    问与答

有什么办法可以实现大文件传输.

  •  1
     
  •   CatSan 2018-07-14 13:40:27 +08:00 9305 次点击
    这是一个创建于 2665 天前的主题,其中的信息可能已经有所发展或是发生改变。

    是这样的我们有个影视团队 是远程团队 每次素材拍摄完 要上传到网盘 对面在下载制作发布 但是目前有个很大的问题就是 素材的上传与下载浪费时间太多了 一般素材都是以 T 来计量的 最小也得有 400 多 G 所以这样很浪费时间

    之前问过 NAS 但是 NAS 上传可以解决掉 远程下载需要本地的上传速率达标 才能下载的快些 以国内的网络情况来说 上传速率都是被限制的

    各位有什么其他好的方法 可以提高工作效率吗?

    第 1 条附言    2018-07-14 14:29:16 +08:00
    忘记说距离了

    拍摄团队在英国、日本、加拿大、缅甸

    制作团队在国内
    72 条回复    2024-02-07 09:27:58 +08:00
    CatSan
        1
    CatSan  
    OP
       2018-07-14 13:44:02 +08:00
    或者有什么样的软件可以远程控制电脑?加密的 点对点的最好
    catror
        2
    catror  
       2018-07-14 14:19:32 +08:00 via Android
    远程是多远?都在国内大城市的话,快递走空运吧
    CatSan
        3
    CatSan  
    OP
       2018-07-14 14:20:20 +08:00
    @catror 拍摄团队在英国 制作团队在中国
    MacTavish123
        4
    MacTavish123  
       2018-07-14 14:21:36 +08:00 via Android
    BT 是个很好的方法
    CatSan
        5
    CatSan  
    OP
       2018-07-14 14:22:07 +08:00
    @xiaozecn 不现实小了还行 大了 3T 的文件啊
    catror
        6
    catror  
       2018-07-14 14:23:23 +08:00 via Android
    @CatSan 远程控制软件的话,可以用 teamviewer,但是操作肯定不如本地,而且有图像质量损失。
    Backlitz
        7
    Backlitz  
       2018-07-14 14:24:44 +08:00 via Android   1
    @CatSan 3TB 对于 BT 来说不一定会很困难,拍摄团队打包做种后弄几台欧洲盒子分下流,到国内速度还是可以的。
    Tink
        8
    Tink  
    PRO
       2018-07-14 14:25:04 +08:00 via iPhone
    资源提供方的上行永远都是硬性的条件,这个突破不了不管什么软件都没法
    luob
        9
    luob  
       2018-07-14 14:25:46 +08:00
    试试古老的。。。FTP ?
    yao990
        10
    yao990  
       2018-07-14 14:26:23 +08:00 via Android   1
    推荐 verysync,经过我这几天的实践,发现效果相当不错。
    alvin666
        11
    alvin666  
       2018-07-14 14:26:40 +08:00 via Android
    @luob 协议不是问题吧,问题是 isp 的选择
    STRRL
        12
    STRRL  
       2018-07-14 14:26:58 +08:00 via Android
    去拉专线或者空运
    CatSan
        13
    CatSan  
    OP
       2018-07-14 14:29:36 +08:00   1
    @STRRL 国外到国内
    CatSan
        14
    CatSan  
    OP
       2018-07-14 14:29:55 +08:00
    @yao990 微力同步?
    mv0x
        15
    mv0x  
       2018-07-14 14:33:11 +08:00
    你可以用阿里云的 oss 之类的试一下,google 的云存储之类的,他们内部有优化。
    yao990
        16
    yao990  
       2018-07-14 14:33:51 +08:00 via Android
    @CatSan 是的,我这几天一直在用,很好用,只要网够好,可以一直保持满速
    CatSan
        17
    CatSan  
    OP
       2018-07-14 14:34:29 +08:00
    @mv0x 谷歌的云储存不现实 文件太大 挂着科技下载那流量也受不了啊
    vazo
        18
    vazo  
       2018-07-14 14:42:47 +08:00
    用钱能解决的问题都不是问题
    vazo
        19
    vazo  
       2018-07-14 14:47:16 +08:00
    补充下,你的问题在于上传下载的网速。
    caola
        20
    caola  
       2018-07-14 15:11:50 +08:00
    @CatSan 如果有外网 IP 建议直接用 linux 自带的 rsync , 一条命令的事情。当然也可以使用 BitTorrent Sync 来同步
    kslr
        21
    kslr  
       2018-07-14 15:18:41 +08:00   1
    这个距离是实在是太远了,我觉得没有比航班更快了。
    另外我也很好奇一般这种情况像 CCTV BBC 该怎么做
    WindSays
        22
    WindSays  
       2018-07-14 15:24:09 +08:00
    @kslr 他们租用卫星嘛我想问?也许就是租用卫星。美剧里不是说卫星的速度超快嘛。
    kslr
        23
    kslr  
       2018-07-14 15:25:28 +08:00
    @WindSays #22 那首先是你要足够好的地面站吧
    CatSan
        24
    CatSan  
    OP
       2018-07-14 15:40:49 +08:00
    @kslr 我所知道的一些 BBC 他们是有专门的剪辑工作车的 可以实时传输的
    alvin666
        25
    alvin666  
       2018-07-14 15:57:41 +08:00 via Android
    @CatSan 那种一般是卫星,太贵了,我觉得 bt 的方法靠谱,七楼说的就可以,查一下国内到比如说英国的光纤,在每个沿途节点多买几台 seedbox,应该会很快,跑起来千兆应该能跑满
    yosolin
        26
    yosolin  
       2018-07-14 16:02:47 +08:00 via iPhone
    用的是家庭宽带?家庭宽带上行速度一般就 2M,硬限制了,软件没法突破了。去办理个企业宽带吧,或者借用别人的
    yosolin
        27
    yosolin  
       2018-07-14 16:04:21 +08:00 via iPhone
    或用专线
    jq8778
        28
    jq8778  
       2018-07-14 16:21:37 +08:00 via iPhone
    硬件拷贝,国际快递。最快那种空运。
    SuperMild
        29
    SuperMild  
       2018-07-14 16:28:14 +08:00   1
    压缩小样片看内容,剪几个未压缩片段看画质,最后确认阶段用快递发硬盘。
    20has
        30
    20has  
       2018-07-14 16:35:41 +08:00 via Android
    这种情况明显是 快递比网传好
    msg7086
        31
    msg7086  
       2018-07-14 17:34:22 +08:00
    之前在纽约往中国寄了个顺丰快递,很便宜,像是硬盘这种小巧轻便的设备,三四十刀之内就能搞定(不确定,但是应该更便宜而不是更贵),空运时效也还可以。

    纯粹用网速来解决不一定是个便宜的方案,考虑到你需要为世界各地的团队都配上高速网络套餐,还要考虑跨国时候的专线带宽,价格涨得飞快的。
    dko
        32
    dko  
       2018-07-14 17:38:00 +08:00
    副导演选好镜头,跟团队的把镜头号对上传过去,如果素材不行就单独再补,全部的素材等最终版的时候再做汇总就好了。

    (楼上的建议是很不错,但是完全不了解影视。。。)
    BTR
        33
    BTR  
       2018-07-14 17:46:30 +08:00 via Android   1
    镭速云,之前看到的。
    https://www.raysync.cn
    ETiV
        34
    ETiV  
       2018-07-14 17:57:46 +08:00 via iPhone
    联系联系 aws、gcp 的商务,看看能不能把数据通过硬盘,带到他们机房,完成上传。

    国内优先通过机房的网络拉回来( upyun 有那种异步下载远程文件的接口),然后再从国内下载
    slowman
        35
    slowman  
       2018-07-14 18:23:06 +08:00
    题目没看懂
    之前是“上传到网盘”,具体是哪个网盘?上传速度多少?可以讲一下么
    “ NAS 上传可以解决掉” 为什么? NAS 上传就快了么?
    zwy100e72
        36
    zwy100e72  
       2018-07-14 18:55:32 +08:00   1
    如果来搭建这套方案,我选择 BitTorrent Sync

    1. 欧洲机房买一个 VPS,国内机房买一个 VPS ;假设制作团队和拍摄团队都有本地服务器用于文件共享。
    2. 拍摄团队先把所有素材放到本地服务器上,通过 BitTorrent Sync 持续不断的上传;
    3. VPS 节点可以一边同步一边上传给国内本地服务器;当所有数据都完整的传输过一次时,国内服务器也就同步完了。

    当然最终还是受到拍摄团队的上行带宽限制,10MB/s 一整天也只能传输 864GB。
    因此需要预先统计好每天产生的素材体积大小,折算成带宽才行。
    xwyam
        37
    xwyam  
       2018-07-14 19:00:03 +08:00 via Android
    之前好像看到过一个资料显示,目前超大量数据传输最快的应该就是大卡车拉着满车硬盘了~( ̄ ̄~)
    ryd994
        38
    ryd994  
       2018-07-14 19:55:03 +08:00 via Android
    永远不要低估一卡车硬盘在高速公路上飞驰的带宽
    F2Sky
        39
    F2Sky  
       2018-07-14 20:42:21 +08:00
    1、寻求技术途径解决;(瓶颈在网络带宽)
    2、寻求非技术途径解决;(例如上面提到的影视制作方法、流程之类的)
    这种情况可能非技术途径的效果更明显。
    Totato5749
        40
    Totato5749  
       2018-07-14 20:59:49 +08:00
    @ryd994 磁带 23333
    daigouspy
        41
    daigouspy  
       2018-07-14 21:02:47 +08:00 via Android
    去本地的网吧上传到 Google 啊!
    mogging
        42
    mogging  
       2018-07-14 21:08:31 +08:00 via Android
    硬盘快递最廉价,aws 都出货车了
    limbo0
        43
    limbo0  
       2018-07-14 21:48:05 +08:00 via Android
    谷歌的解决办法就是快递
    Kagari
        44
    Kagari  
       2018-07-14 22:10:53 +08:00 via Android
    搬到深圳,然后每天从香港带装了前一天数据的硬盘过来
    Dragonish3600
        46
    Dragonish3600  
       2018-07-14 22:19:49 +08:00
    最简单的办法是 Windows AD 的 DFS
    直接把文件用 winrar 拆成 100M 一个小包,然后 DFS 同步即可。效率很高还不出错
    ZE3kr
        47
    ZE3kr  
       2018-07-14 22:19:51 +08:00 via iPhone
    空运如果有直达航班并且海关顺利,较贵的 UPS、DHL 选项应该能 1-3 天到货。运费由选择的时效、距离和重量决定,大概 300-800。

    如果 >10T 考虑一下空运
    formose
        48
    formose  
       2018-07-14 22:23:03 +08:00
    国内制作团队远程办公,楼上的 teamviewer 不错,就是不知道用起制作软件来会不会甩得难看~
    GoPython
        49
    GoPython  
       2018-07-14 22:24:17 +08:00
    我记得,国内电信的上行好像是可以申请提速的(记得当年我们学校租的电信,带宽出口上行下行速度一致)。

    邮寄硬盘最快也得两三天的话。如果每次都是 2-3T 这样的量的话,其实可以把带宽拉大点。前几天都有帖子说光纤速度提速到 300M 了。可以去申请下把带宽上行提速,至少,交钱应该是可以的,然后晚上下载,带宽基本跑满的话,不用几个小时就可以了。快递也会有损坏,丢失的可能。

    如果都是超过了 10 几 T 的话,可能还是快递硬盘快点了。
    20015jjw
        50
    20015jjw  
       2018-07-14 23:21:31 +08:00 via Android
    我觉得 Google drive ez..
    429463267
        51
    429463267  
       2018-07-14 23:37:20 +08:00
    我在上传一个 20G Mysql 数据库备份的 sql 脚本文件到谷歌云数据库的过程中也放弃了,因为我的宽带根本不可能满足上传 20G 的文件(上传速度 50KB/s ),所以还有更好的办法吗?
    ![]( http://p7fcrq2e4.bkt.clouddn.com/201818142336-20180714_233640.png)
    429463267
        52
    429463267  
       2018-07-14 23:48:40 +08:00
    @ksyson

    官方给的激活码无效
    wangfei324017
        53
    wangfei324017  
       2018-07-15 00:02:10 +08:00
    微软 onedrive 呢?
    MacTavish123
        54
    MacTavish123  
       2018-07-15 00:26:05 +08:00 via Android
    我觉得除了快递。可以这么试试:按照之前 BT 的方法。两边都用 NAS,利用两边空闲的时差来传文件。无法解决上传带宽的问题的话,可以试试用两条以上民用宽带做种啊,是不是。
    yanqing07
        55
    yanqing07  
       2018-07-15 01:02:29 +08:00
    算算 400T/10Mb 上传,然后下载 400T/100Mb 两个时间总和。如果比快递慢就直接快递好了
    qwlhappy
        56
    qwlhappy  
       2018-07-15 01:06:10 +08:00
    有句话怎么说的来着
    永远也不要低估一辆满载硬盘的货车的带宽
    daigouspy
        57
    daigouspy  
       2018-07-15 06:10:02 +08:00 via Android
    @429463267 你就不会拿到附近的网吧上传吗?
    Vneix
        58
    Vneix  
       2018-07-15 08:15:56 +08:00
    分卷压缩,上传后比对一下 MD5
    几台十几台电脑一起上传
    LoliconInside
        59
    LoliconInside  
       2018-07-15 09:28:04 +08:00
    rsync 算法可以做到只传输变化的部分
    lihongjie0209
        60
    lihongjie0209  
       2018-07-15 10:57:48 +08:00
    @mv0x #15 你算过 oss 的流量费吗
    Kirscheis
        61
    Kirscheis  
       2018-07-15 10:58:24 +08:00
    磁带空运,之前都是这么处理从国外过来的监控数据集的。平均一天传几十 TB 绰绰有余。租磁带机和买磁带也不贵

    靠网络的话,就算你一路打通万兆网,10 Gbps 每天极限也就 80TB
    abmin521
        62
    abmin521  
       2018-07-15 17:21:18 +08:00 via Android
    典型的 x y 问题 倒不如改善 rdp 的网络质量 开个网络加速之类的

    问题是素材只有一份,说 bt 的真的能改善多少吗?限制始终是带宽

    当然大文件传输也可能是未来会遇到的问题,那时候应该会诞生更好的压缩算法,更强的 cpu,更大的带宽
    CatSan
        63
    CatSan  
    OP
       2018-07-16 09:11:33 +08:00
    @vazo
    @caola
    @abmin521
    @Kirscheis
    @LoliconInside
    @Vneix
    @yanqing07
    @429463267
    @GoPython
    @zwy100e72
    @GoPython
    @msg7086
    感谢各位的热情回答 目前我们团队的解决方案是发顺丰国际快递 邮递硬盘 每次寄件之前攒三部片子的压缩素材 一共 50T 用 5 块 10T 机械硬盘带回来 之后我们在邮寄回去 目前邮寄成本控制在了 150USD 左右 暂时先这样解决吧

    至于为什么不优先考虑快递邮寄 是因为数据过大 硬盘在邮寄路上会有损坏 如果损坏一块 那损失就大了
    429463267
        64
    429463267  
       2018-07-16 09:30:23 +08:00
    @CatSan

    5 块硬盘可以组 raid5 来保证数据的安全性,不过本穷逼没有这么多的硬盘实测过
    CatSan
        65
    CatSan  
    OP
       2018-07-16 09:33:35 +08:00
    @429463267 我们这里有阵列 到时候直接插上就行了
    dreamage
        66
    dreamage  
       2018-07-16 10:30:42 +08:00
    看下格物资讯之前发的视频 他们使用二级运营商 内网跑满带宽
    dreamage
        67
    dreamage  
       2018-07-16 10:31:19 +08:00
    呃 刚看到追加 :(
    msg7086
        68
    msg7086  
       2018-07-16 23:59:44 +08:00
    正常打包硬盘,包装合理的话,硬盘应该不会那么轻易损坏的。
    LoliconInside
        69
    LoliconInside  
       2018-07-17 12:30:20 +08:00
    @CatSan 如果能接受成本增加的话,多弄点盘组 RAID50,连 RAID 卡一起打包发过来,坏个一两块盘不要紧。
    dif
        70
    dif  
       2018-07-17 18:11:09 +08:00
    Google 就能解决,无限空间不够用么?既然都拍电影啥的了,还缺个 FQ 的机器么?
    qanniu
        71
    qanniu  
       2018-08-29 18:46:44 +08:00 via Android
    qHi2n4g4ONA213Kw
        72
    qHi2n4g4ONA213Kw  
       2024-02-07 09:27:58 +08:00
    可以试试 woc.space ,刚上线,服务在海外,但国内国外访问都很快
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1612 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VESION: 3.9.8.5 28ms UTC 16:26 PVG 00:26 LAX 09:26 JFK 12:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86