交换机上做了链路聚合,该怎么正确使用? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Hansah
V2EX    问与答

交换机上做了链路聚合,该怎么正确使用?

  •  
  •   Hansah 2021-02-12 00:09:35 +08:00 via Android 2272 次点击
    这是一个创建于 1715 天前的主题,其中的信息可能已经有所发展或是发生改变。
    主机 a 有 2 个万兆口,分别有 2 个 IP,连接到交换机上,交换机上做了链路聚合,显示总带宽 20g 。这时其他连接到交换机上的机器怎么访问主机 a 才能走 20g/s 的效果?

    所有机器都是 win10 系统,现在用的是 ip 访问,但是一次只能访问主机 a 的一个 IP,比如主机有 192.168.1.1 和 162.168.1.2 两个 IP,现在直接在局域网里面能直接打开 192.168.1.1 来访问 SMB 共享资源。


    新年大吉,感谢解答
    22 条回复    2021-11-15 20:36:19 +08:00
    maichael
        1
    maichael  
       2021-02-12 00:21:12 +08:00   1
    1. 链路聚合是同一个 IP
    2. 链路聚合有很多种模式,要看你配置的那种,而且需要交换机真正支持聚合(某些便宜一点的交换机聚合起不了带宽*2 的作用),可以先用 iperf3 测试
    3. 聚合需要程序是多线程或者多进程。
    msg7086
        2
    msg7086  
       2021-02-12 06:47:05 +08:00   1
    主机上要把两个万兆口聚合成一个,用一个 IP 。
    dncg
        3
    dncg  
       2021-02-12 08:39:30 +08:00 via iPhone   1
    单 ip,只能用满一条带宽,1 万兆。链路聚合是给多 ip 同时访问用的。好像 smb3 可以拉满宽带,貌似不是走的链路聚合。你可以查查看
    Tarkky
        4
    Tarkky  
       2021-02-12 08:48:00 +08:00   1
    主机也得做,交换机什么模式的聚合,主机上也得一样就好了。话说你什么服务?网络存储么?
    Hansah
        5
    Hansah  
    OP
       2021-02-12 10:03:15 +08:00 via Android
    感谢大家恢复,去年生意惨淡,临时兼职运维。

    @Tarkky 朋友是做无人机勘测的,要为甲方提供地面三围重建,需要集群计算,网络交换数据量很大,1 台主机 5 台从机跑一个项目,一个小项目大概 1 万张照片,100g 大小,空中三维计算后大概 300g,大概几十万到一百多万个文件。最后重建完成的数据量很小。今年还要弄个集群,准备上大船货了,PM983 的 12TBW 估计扛不了多久
    Tarkky
        6
    Tarkky  
    &bsp;  2021-02-12 10:38:41 +08:00   1
    那交换机得买好的,背板交换和端口速率都不能含糊
    Hansah
        7
    Hansah  
    OP
       2021-02-12 10:44:21 +08:00 via Android
    @Tarkky ,为了节省成本,上的是 600 块的 24 千口 8 万口的二手交换机,网卡用的是 cx341 的魔改万兆,iperf3 测试单口只能跑到 7g/s
    CallMeReznov
        8
    CallMeReznov  
       2021-02-12 13:45:12 +08:00   1
    我这边因为条件有限,是用 8 条电口 1000M 做的端口组.
    我个人的理解,限制速度主要还是终端侧,交换机一般情况瞎是遇不到什么瓶颈的.

    所以你希望其他主机访问达到要求只要该主机与交换机的链路达到 20G 就可以了.
    但如何能跑满这 20G 的带宽,就需要服务器的 IO 与传输协议各方面的支持,可能还需要调整巨型帧这类参数.
    加拿大白嫖王有相关视频可以看一下:https://www.bilibili.com/video/BV1js41127Gi
    Conty
        9
    Conty  
       2021-02-12 15:14:52 +08:00   1
    本人网络工程师,尝试回答。
    链路聚合业内标准基本上都是 LACP/LAG,通过绑定多个物理端口成为一个逻辑端口来扩展数据承载能力。需要两端设备都支持 LACP 协议。链路聚合不适用于单个流的负载分担 /负载均衡。流的定义就是源 IP,源 MAC,目的 IP,目的 MAC 和端口号都相同的数据包的总和。如果你的场景就是单台客户机 /终端与单台服务器之间的通信,做不了分担 /均衡,只能用 40G 或者 100G 端口。
    bearice
        10
    bearice  
       2021-02-12 16:08:17 +08:00   1
    楼上 基本正解 但是也不是完全不可能做单流负载均衡 一些特殊场景下 round robin 模式是可以做到的 不过会带来乱序包之类的问题,并且支持的设备不多.
    Hansah
        11
    Hansah  
    OP
       2021-02-12 17:55:02 +08:00 via Android
    @Conty 请问 40g 端口通信跑满的话,硬件一般都是什么价格的啊,5gb/s 起码都要 pcie4.0 的 nvme 才能跑到了吧,或者 raid ?
    bearice
        12
    bearice  
       2021-02-12 19:27:07 +08:00 via iPad
    交换机 思科的 93180 全新也就几千刀 杂牌的更便宜

    话说如果只有几百 G 数据的话扔内存不就行了 现在 ram 又便宜

    或者直接去 aws 开几个虚机 硬件最高有 100g 网卡 内存也管够 用完了关机还不要钱
    Hansah
        13
    Hansah  
    OP
       2021-02-12 20:02:55 +08:00 via Android
    @bearice 小集群,开始没个底,又遇到矿潮显卡价格暴涨,就按家用机标准搭的,主机是 zen3+ x570+2080+64g ddr4,实际上内存占不满,可是 x570 和撕裂者最高也就支持 128G 和 256G 内存,所以 ramdisk 有点麻烦,下批集群如果预算够考虑上 EYPC 试试。

    一个小项目 10000 张照片全程跑完要 20 个小时左右,AWS 不划算吧,上传几十 G 数据都要好久
    Conty
        14
    Conty  
       2021-02-14 16:15:56 +08:00 via iPad
    @siknet 主机这边不懂。交换机的话正经厂家做出来的交换机如果没有标 overSubscribing 的 40G 端口都可以跑满线速。
    flynaj
        15
    flynaj  
       2021-02-15 12:13:11 +08:00 via Android
    聚合就只有一个聚合后的接口了。一个 IP 就行。
    julyclyde
        16
    julyclyde  
       2021-02-16 13:17:49 +08:00
    搞不清楚聚合需要几个 IP,这是一种典型的没能理解网络协议分层的表现
    Hansah
        17
    Hansah  
    OP
       2021-02-18 11:34:34 +08:00
    @Conty 大佬,我在办公室自己折腾试验。2 台 intel 八代 /十代平台,都是 CX341 的万兆卡,用的是 7 米的 DAC 堆叠直通线,跑 IPERF3 只有 3.xG 的速度,MTU 和巨型帧调高以后速度更慢。请问应该从哪些地方着手去找问题?有个 7 、8G 我也就满意了,3G 太慢了。

    感谢!
    Hansah
        18
    Hansah  
    OP
       2021-02-18 11:35:48 +08:00
    补充一下,机器都只有 M.2 的硬盘,直接复制大文件速度也只到得了 280MB/s
    Conty
        19
    Conty  
       2021-02-18 11:45:46 +08:00
    @siknet 建议你用 wireshark 之类的抓个包看看,是不是有啥错包之类的。通常从 wireshark 的抓包里面可以看到很多 TCP 相关的东西。
    Canglinstraw
        20
    Canglinstraw  
       2021-11-03 08:45:13 +08:00
    @siknet 你好啊,问题解决了吗?我这里出现了同样的 Bug
    Hansah
        21
    Hansah  
    OP
       2021-11-03 09:56:30 +08:00 via Android
    @Canglinstraw 并没有。。。也没去管了。甲方根本不 care 这个问题
    Canglinstraw
        22
    Canglinstraw  
       2021-11-15 20:36:19 +08:00
    @siknet 哈哈哈好的,谢谢回复哈~
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2733 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 11:01 PVG 19:01 LAX 04:01 JFK 07:01
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86