千兆带宽, Win 能跑满, Linux 跑不满,非常诡异 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xwchenhui
V2EX    宽带症候群

千兆带宽, Win 能跑满, Linux 跑不满,非常诡异

  •  1
     
  •   xwchenhui 2020-12-09 14:52:59 +08:00 4279 次点击
    这是一个创建于 1781 天前的主题,其中的信息可能已经有所发展或是发生改变。

    家里两台服务器,一台华擎 N3150 ( PVE )、一台矿渣 J1900 (群晖),还有一台 PC ( I7-8700 ),都接在同一个千兆交换机下面。

    最近发现,PVE 和群晖之间互相拷贝数据,SCP/RSYNC/CIFS/NFS 各种方式,全部都只有 50MB/s 的速度,稳定不波动

    但是用 PC 通过 CIFS 的方式分别访问这台机,无论是读写,都能跑满千兆;甚至同时打开两个共享,通过 PC 中继复制数据,都能跑满千兆;

    PVE 和群晖都没有调过什么内核参数

    ethtool 查看网口协商速率都是千兆全双工

    两台机 CPU 内存都没满载。。。

    PC 中继,这个 HomeOMV 还是 PVE 下的一台虚机

    PVE 通过 CIFS 挂载群晖的共享文件夹,rsync 本地复制

    群晖通过 rsync 远程复制 PVE 上的文件


    很懵逼,看看有没有这一块的大佬可以帮忙分析一下

    11 条回复    2020-12-21 11:01:05 +08:00
    LOVOQ
        1
    LOVOQ  
       2020-12-09 20:46:04 +08:00
    大概是 pve 网卡直通问题 楼下 jj 大的继续~
    xwchenhui
        2
    xwchenhui  
    OP
       2020-12-09 21:53:29 +08:00
    @LOVOQ 没有开直通的,HomePVE 是宿主
    xwchenhui
        3
    xwchenhui  
    OP
       2020-12-09 22:02:04 +08:00
    补充一下,pve 里面装 Windows 去挂群晖的共享,也能跑满…怀疑不是内核参数就是 cifs/nfs 客户端的问题,但是没啥方向,搜都不好搜
    geekvcn
        4
    geekvcn  
       2020-12-10 01:18:25 +08:00
    PVE 默认网卡是桥接模式,Linux 网桥性能不如物理网卡吧,把桥接接口改成物理接口试试
    xwchenhui
        5
    xwchenhui  
    OP
       2020-12-10 10:23:05 +08:00
    @geekvcn #4 嗯,这个也是一种思路,我稍候试试;但是其实也解释不通,因为 WinPC 去拉数据是能拉到千兆的。另外我也试过把 Linux Bridge 改成了 Open vSwitch
    ccyyff
        6
    ccyyff  
       2020-12-14 16:43:38 +08:00 via Android
    虽然不太懂,但有没有可能是网卡驱动的问题?
    xwchenhui
        7
    xwchenhui  
    OP
       2020-12-15 12:46:30 +08:00
    @ccyyff #6 我也怀疑过网卡驱动,但是从 PC 传输的结果来看又是能满足的;我认为大概率还是在应用层面的一些配置之类的。
    miyunda
        8
    miyunda  
       2020-12-15 20:25:16 +08:00
    或许可以尝试修改挂载 NFS 时的读块大小来尝试下?
    https://docstore.mik.ua/orelly/networking_2ndEd/nfs/ch16_04.htm
    lookas2001
        9
    lookas2001  
       2020-12-20 12:46:36 +08:00 via Android
    看看拥塞控制是不是 bbr,如果是的话,试试换成 cubic
    xwchenhui
        10
    xwchenhui  
    OP
       2020-12-21 11:00:34 +08:00
    @lookas2001 #9 不是 bbr 是 cubic,我改成 bbr 试试看
    xwchenhui
        11
    xwchenhui  
    OP
       2020-12-21 11:01:05 +08:00
    @miyunda #8 这个试过,没效果,不过我测 NFS 的速度的时候用的是 rsync 。。。我得试试别的复制工具
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2768 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 07:38 PVG 15:38 LAX 00:38 JFK 03:38
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86