NAS 有双 2.5G 网口, PC 有一块双光口的万兆网卡,万兆交换机,为什么 SMB 的多通道依然不起作用? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
coder121
V2EX    宽带症候群

NAS 有双 2.5G 网口, PC 有一块双光口的万兆网卡,万兆交换机,为什么 SMB 的多通道依然不起作用?

  •  
  •   coder121 218 天前 2627 次点击
    这是一个创建于 218 天前的主题,其中的信息可能已经有所发展或是发生改变。
    NAS 有双 2.5G 网口,nas 装的是飞牛 V0.8.39 ,PC 有一块双光口的万兆网卡,一共四条线连在万兆交换机上(交换机有 4*2.5g + 2*10g 光口),nas 和 win 均开启了 smb 多通道,为什么 SMB 的多通道依然不起作用?数据传输的速度最大仍然还是 280m/s ,nas 和 pc 都 ssd
    36 条回复    2025-04-11 10:30:19 +08:00
    coder121
        1
    coder121  
    OP
       218 天前
    补充额外信息,pc 万兆网卡是 82599 ,交换机没有连接路由器,作为一个纯内网的机器在用,nas 的 pc 都是手动设置的静态 IP
    suitts
        2
    suitts  
       218 天前 via iPhone
    这个不是直接叠加带宽吧,只是能同时两个任务跑满带宽
    coder121
        3
    coder121  
    OP
       218 天前
    @smartruid 你说的应该是链路聚合吧,跟 smb 多通道还是不太一样的,smb 多通道目的就是叠加带宽,聚合是为了提高并发吞吐
    suitts
        4
    suitts  
       218 天前 via iPhone
    @coder121 那是我记错了
    sNullp
        5
    sNullp  
       217 天前
    ?你不设置链路聚合的话 nas 到 PC 的带宽就是 2.5Gbps 啊
    sNullp
        6
    sNullp  
       217 天前
    哦学习了一下原来不同的 interface 要用自己的 IP ,那我之前说错了。抱歉
    villivateur
        7
    villivateur  
       217 天前
    先单线程 iperf 打流试试 2.5G 能不能跑满,然后多线程打流看看 5G 能不能跑满,最后再去考虑 samba 是不是有问题
    djw123
        8
    djw123  
       217 天前
    两机之间需要设置网关地址,前两天 server 2022 跟 PC 就遇到一样的问题
    coder121
        9
    coder121  
    OP
       217 天前 via Android
    @djw123 我 pc 两个光口的 ip 设置的是 192.168.7.100 和 101 ,nas 是 50 和 51 ,网关都是配的交换机的 ip 192.168.7.1 ,应该没啥问题吧。。。
    yinmin
        10
    yinmin  
       217 天前 via iPhone
    在复制文件时,查看:
    飞牛 os - 资源监控 - 网络
    windows - 任务管理器 - 性能

    看一下多网卡是不是同时有流量,再看一下 nas 的 cpu 负载情况。另外,pc 是万兆网卡的话可以是单线路的,也就是 pc 万兆单通-nas 多通道。
    coder121
        11
    coder121  
    OP
       217 天前 via Android
    @yinmin nas 的两个网卡都有流量,每块网卡平均 140m/s 。pc 只有一个口有流量,大满了 2.5g ,另外一块一动不动。。。
    yinmin
        12
    yinmin  
       217 天前 via iPhone
    @coder121 #11 你看看 pc 的网卡属性,是跑在万兆速度吗? 如果是万兆的话,试试 pc 单通
    coder121
        13
    coder121  
    OP
       217 天前 via Android
    @yinmin 单通试过了,也没用
    yinmin
        14
    yinmin  
       217 天前 via iPhone
    @coder121 如果你确认 pc 网卡是跑在万兆速度,不是跑在 2.5g ,大概率是交换机有问题。你用 iperf3 试试:万兆口同时向 2 个 2.5g 口打包,能跑满双 2.5g 流量吗
    yinmin
        15
    yinmin  
       217 天前 via iPhone
    还有一种可能性,你的万兆网卡插在主板的 PCIe 2.0 x1 ( 4Gbps )的插槽上,PCIe 总线限制了网速。
    lcy630409
        16
    lcy630409  
       217 天前
    不可能实现
    op 说”我 pc 两个光口的 ip 设置的是 192.168.7.100 和 101 ,nas 是 50 和 51“
    你打印一下你 windows 的路由表就知道了,只在一个网卡上走数据了
    route print
    lcy630409
        17
    lcy630409  
       217 天前
    windows 的路由表 即使在两个网卡都在同一个网段 同一个网关地址,也会有跃点数的区别
    ButcherHu
        18
    ButcherHu  
       217 天前
    Get-SmbMultichannelConnection 看看呢
    coder121
        19
    coder121  
    OP
       217 天前
    飞牛端两个网口:iperf3 -s -p 5999 -B 192.168.7.98 ,iperf3 -s -p 6000 -B 192.168.7.97
    pc:iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.7.101 ,iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.101
    我日,速度竟然跑不满 2.5G
    https://github.com/Mrhs121/png/blob/main/%E6%88%AA%E5%B1%8F2025-03-07%2011.01.01.png
    coder121
        20
    coder121  
    OP
       217 天前
    @yinmin 飞牛端两个网口:iperf3 -s -p 5999 -B 192.168.7.98 ,iperf3 -s -p 6000 -B 192.168.7.97
    pc:iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.7.101 ,iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.101
    我日,速度竟然跑不满 2.5G
    https://github.com/Mrhs121/png/blob/main/%E6%88%AA%E5%B1%8F2025-03-07%2011.01.01.png
    coder121
        22
    coder121  
    OP
       217 天前
    @yinmin 主板是华南 bd3 ,万兆卡插在 PCIe 3.0 x16 上了,另外一个 x16 插了显卡,x4 插了 wifi 网卡,不会是这板子有问题吧,插满了就无法打满速度了。。。
    cjd6568358
        23
    cjd6568358  
       217 天前
    是不是显卡和网卡占了 PCI 通道带宽
    coder121
        24
    coder121  
    OP
       217 天前
    发现一个很奇怪的现象,我试了下单发
    pc:iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.7.101 ,我指定了 pc ip 101 ,但是 win 资源管理器里面确实 102 口有发送流量 2.5g ,101 一动不动的
    coder121
        25
    coder121  
    OP
       217 天前
    双发也测了下,win 资源管理器里面看到只有 102 有流量,发送速度 2.5g ,101 没有流量变动
    pc:iperf3.exe -c 192.168.7.97 -p 6000 -B 192.168.7.101 ,iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.102
    nas:iperf3 -s -p 5999 -B 192.168.7.98 ,iperf3 -s -p 6000 -B 192.168.7.97
    Autonomous
        26
    Autonomous  
       217 天前 via iPhone
    搞 lacp 动态链路聚合
    wudaye
        27
    wudaye  
       217 天前
    威联通官网文档对双通道的使用说明是,两端的网口速率必须对等,也就是说这边 2 个 2.5G ,那边也得是 2 个 2.5G ,不知道这是威联通 NAS 的局限性还是 SMB 双通道协议的局限性
    wudaye
        28
    wudaye  
       217 天前
    @wudaye 记错了,当我没说
    wnpllrzodiac
        29
    wnpllrzodiac  
       217 天前 via Android
    samba 好像不太行。
    yinmin
        30
    yinmin  
       217 天前 via iPhone
    @coder121

    1. pc 万兆网卡没必要双通,接 1 个万兆口就行了
    2. 断电重启一下万兆交换机
    3. 拔掉 pc 的 wifi 网卡,再试试 pc 万兆网卡能否打满双 2.5G
    coder121
        31
    coder121  
    OP
       217 天前
    飞牛开启 rr 链路聚合,交换机也开启聚合,同时飞牛再打开 smb3 多通道,nas 到 pc 和 pc 到 nas 之间的传输速度可以稳定在 450 左右了
    coder121
        32
    coder121  
    OP
       217 天前
    https://www.chiphell.com/forum.php?mod=viewthread&tid=2490878&extra=&ordertype=1&mobile=no
    找到一个类似的问题,把主力机的两个网卡的“接收方调整”(默认开启)全部关闭后就可以正常叠加网速,试了下确实可以打满 5g 了
    wy315700
        33
    wy315700  
       217 天前
    Linux 是弱网络终端类型。
    IP 是绑在内核上的,任意一个网卡都会响应当前机器绑定的所有 IP 地址的 ARP 请求。就很容易导致多个 IP 的流量都走了同一个物理网口

    当时研究了很久多网卡主机的时候发现的。这一特性导致 Linux 的多网卡支持非常差。
    https://serverfault.com/questions/415304/multiple-physical-interfaces-with-ips-on-the-same-subnet
    https://serverfault.com/questions/624626/ifcfg-eth0-200-is-not-responding-to-arp-broadcasts

    需要设置 arp_filter 和 arp_ignore 参数。

    不知道飞牛有没有修复这个问题。之前实测,群晖是没这个问题的,但是极空间第一个版本的 SMB 多通道是有这个问题的,后面反馈以后他们修复了。
    coder121
        34
    coder121  
    OP
       217 天前 via Android
    我把主板自带的千兆网卡的接收方调整关闭或者直接禁用掉网卡,最终都能达成目的了
    coder121
        35
    coder121  
    OP
       216 天前
    完结了兄弟们

    最终解决方案:网卡的接收方调整( RSS )保持开启,pc 和 nas 的两个网口的 ip 从分别设置成了不同的网段

    例如 10.1.2.x 和 172.16.1.x

    最终 pc 到 nas 和 nas 到 pc 都能打满 5g 的速度了,实现了带宽叠加

    https://github.com/Mrhs121/png/blob/main/Snipaste_2025-03-09_01-23-24.png
    https://github.com/Mrhs121/png/blob/main/Snipaste_2025-03-09_01-23-49.png
    coder121
        36
    coder121  
    OP
       182 天前
    顶,求助大佬
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1029 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 22:59 PVG 06:59 LAX 15:59 JFK 18:59
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86