lxc 容器访问 k3s 的 nodeport 不通的问题。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
leaves615
V2EX    Linux

lxc 容器访问 k3s 的 nodeport 不通的问题。

  •  
  •   leaves615 2024-06-26 20:53:12 +08:00 1671 次点击
    这是一个创建于 470 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在同一台 host centos 中安装了 lxd 和 k3s 。 两个独立使用不存在问题。

    当在 lxd 的容器系统中访问 k3s 中的 service 输出的 nodeport 端口时,出现 telnet 可以通,curl <host_ip>:port 的时候,显示连接成功,就是没有响应,直到超时。

    lxd 容器访问 host 系统的端口就是正常的。

    在局域网内访问 nodeport 的端口 <host_ip>:port 是正常访问的。

    有没有大师遇到过类似问题。该怎么解决?

    第 1 条附言    2024-06-26 23:33:13 +08:00
    br 模式的方法没有找到。

    换一个方法实现了互通。lxc 以 macvlan 方式配置网卡创建的容器,可以实现互通。
    10 条回复    2024-06-28 22:31:32 +08:00
    zfjdif
        1
    zfjdif  
       2024-06-26 21:05:25 +08:00
    当时装的时候好像遇到过这个问题,最后用虚拟机装就好了,蹲一下其他解决方案
    dann73580
        2
    dann73580  
       2024-06-26 21:13:22 +08:00
    是用 pve 吗?我知道 lxc 容器默认没有 tun 接口,某些组网情况会失败。
    leaves615
        3
    leaves615  
    OP
       2024-06-26 22:22:24 +08:00
    没用 pve
    @dann73580
    leaves615
        4
    leaves615  
    OP
       2024-06-26 22:24:00 +08:00
    lxc 用桥接 使用局域网
    leewaytown
        5
    leewaytown  
       2024-06-27 10:11:09 +08:00
    br 和 macvlan 的区别:过不过宿主机的网络 stack
    telenet 和 curl 的区别:TCP vs HTTP
    这样看是不是宿主机把 HTTP 请求 block 了
    :)
    leaves615
        6
    leaves615  
    OP
       2024-06-27 11:59:02 +08:00
    @leewaytown 具体的在哪个环节 block/drop 了。没有找到相关的方法和工具进行排查和配置。linux 网络层面的比太懂。
    julyclyde
        7
    julyclyde  
       2024-06-27 18:06:18 +08:00
    那你 telnet 手工发个 HTTP 请求看看?
    leaves615
        8
    leaves615  
    OP
       2024-06-28 17:24:27 +08:00
    @julyclyde 试过一样不通,通过 TCPDUMP 发现 HTTP 请求包成功到达了 k3s 的服务,当时 HTTP 响应包无法到达 lxc 容器,后续就是双边出现包重发,直到 RST
    julyclyde
        9
    julyclyde  
       2024-06-28 19:04:32 +08:00
    @leaves615 检查一下 rp_filter 的设置?
    隐隐约约觉得似乎有关系,但这个症状还是有点不太对劲……
    leaves615
        10
    leaves615  
    OP
       2024-06-28 22:31:32 +08:00
    rp_filter 没学会怎么看和判断是否配置正确。能否告知具体怎么操作。
    @leaves615 #8
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3118 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 10:58 PVG 18:58 LAX 03:58 JFK 06:58
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86