目前在做一个小玩意儿,有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据, 一共 2T, 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的, 在每台服务器上 mount
但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗
mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2
用的参数如上,是我参数选的不对吗
1 jakezh OP 为了暂时解决,开了另外 3 台服务器,做了一个分布式网络硬盘 成本稍微有点贵啊, 需要用到 3*2T 的硬盘 加三台服务器, 一个月快$1000 了 一月少一台 iPhone。。。。不开心 |
![]() | 2 greatdancing 2019-11-06 11:53:47 +08:00 via Android 小一个级别用的 btsync |
3 jakezh OP @greatdancing #2 不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了 |
4 jakezh OP 等一下 我好像算错了,EFS 的价格是 EBS 的三倍,实际上我只多付了三台服务器的钱 |
5 chinuno 2019-11-06 12:03:58 +08:00 via Android ipfs ? |
6 icekingcy 2019-11-06 12:06:28 +08:00 via iPhone 歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S |
![]() | 7 binux 2019-11-06 12:11:08 +08:00 via Android EFS 默认是 burst 模式,会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。 |
![]() | 8 greatdancing 2019-11-06 12:13:04 +08:00 via Android @jakezh 你的共享指的是? |
10 jakezh OP @greatdancing #8 其实只需要公用读,不需要公用写 |
![]() | 11 lynnX 2019-11-06 12:38:36 +08:00 https://juicefs.com/ 这个应该可以解决你的问题 |
12 johnniang 2019-11-06 12:41:29 +08:00 via Android https://min.io/ 不知道这个是否可行 |
![]() | 13 snw 2019-11-06 17:33:40 +08:00 via Android @greatdancing BTSync 之类的双向实时同步不靠谱的,被坑过。 |
![]() | 14 greatdancing 2019-11-06 17:40:00 +08:00 via Android @snw 请问现在的解决方案是? |
15 openbsd 2019-11-06 17:54:00 +08:00 10 台都要写还是只读 ? NFS 问题不大啊,试试只读挂载 ? |
16 openbsd 2019-11-06 17:57:18 +08:00 .....我好像偏题了.......[狗头保命] |
17 ungrown 2019-11-06 18:44:13 +08:00 via Android @icekingcy 存在瓶颈的地方很多的,软件本身,系统调度,硬件方面 CPU、网卡、硬盘,这些都有可能造成瓶颈,多个瓶颈一起来,速度就被掐死了。 |
![]() | 18 flynaj 2019-11-06 18:50:38 +08:00 via Android syncthing 同步一下 。 |
19 yuyuko 2019-11-07 19:02:29 +08:00 10 台,每台吞吐多少?到底是多慢讲一下啊 |