某天项目 k8s 发布,两个副本,开启了就绪以及存活探针,新 pod 就绪且 consul 上线,旧的 pod 也删除了,突然新的 pod 全部 consul 下线且未就绪,请教一下老哥原因 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zhuzhibin
V2EX    Kubernetes

某天项目 k8s 发布,两个副本,开启了就绪以及存活探针,新 pod 就绪且 consul 上线,旧的 pod 也删除了,突然新的 pod 全部 consul 下线且未就绪,请教一下老哥原因

  •  
  •   zhuzhibin 2024-07-02 19:12:18 +08:00 2310 次点击
    这是一个创建于 531 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如提,问了运维,只说是因为我们服务健康检查不通过导致的,但是我的疑问是我开启了存活以及就绪,为什么旧的也杀掉了,新的也检查就绪且 consul 也上线了,为什么突然又全部下线,感觉是流水线盘点就绪以及存活逻辑有问题
    6 条回复    2024-07-03 10:00:49 +08:00
    zhuzhibin
        1
    zhuzhibin  
    OP
       2024-07-02 19:23:38 +08:00
    就是 readinessProbe 检查就绪了,突然又不通过把全部 pod consul 下线了
    FoxRiverMan
        2
    FoxRiverMan  
       2024-07-02 19:45:28 +08:00   1
    可以看下 POD 日志,应该是服务就绪启动后又 CrashLoopBackOff
    mephisto
        3
    mephisto  
       2024-07-02 22:36:22 +08:00 via iPad   1
    探针检测就是体检,通过只能表示那一刻正常. 一会后又跑挂了,得去看日志为什么没通过,各种原因都有可能。比如只能硬 50s, 那后面肯定是被咔了啊,为什么只能去查原因。
    morphyhu
        4
    morphyhu  
       2024-07-02 23:14:59 +08:00
    pod crash 了. 程序运行出错.
    dreamusername
        5
    dreamusername  
       2024-07-03 09:24:52 +08:00
    https://kubernetes.io/zh-cn/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/#define-readiness-probes 看文档,最合理的推断是服务过了探针后,自己出错了,如果在运维层面加强的话,需要再加一个 livenessProbe 来判断服务的存活,这需要程序提供可用的接口,当程序健康检查异常,则会终止这个 Pod ,然后重新拉起一个,不过这样做没办法保留现场,不利于排查问题,特别是程序代码原因导致 crash ,则会反复终止 Pod 、拉起 Pod 。
    LanLiang
        6
    LanLiang  
       2024-07-03 10:00:49 +08:00
    你的意思是 pod 服务在 consul 侧下线? 但是在 K8S pod 正常?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5100 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 43ms UTC 03:46 PVG 11:46 LAX 19:46 JFK 22:46
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86