这是一个创建于 220 天前的主题，其中的信息可能已经有所发展或是发生改变。
本人是 sre ，负责 k8s 和一些如 kafka zk 的中间件的运维，最近遇到了 3 个问题好久都没查出来。第一次是 3 节点 zk 集群夜间突然 1 台 cpu 拉到 100%几分钟后 cpu 掉下来了，但节点不可用，然后 2 个小时后另外一台又这样了，也挂了，然后集群不可用了。第二次是 6 节点 kafka 突然有一台 cpu 很高，重启没用，停掉后部分业务又开始报错，提高 cpu 配置（容器），并迁移了受影响的一个业务后启动后突然就一切正常，cpu 使用率也没那么高了，其他业务也没事了。第三个是 docker info 、docker images 突然 hang 住，几个小时自己恢复了，然后又开始反复。这几次中间件除了 zk 那个日志被清理了看不到当时报错，其他都没有什么报错，无从查起，很无力，领导 又要结果。
 | 1 F281M6Dh8DXpD1g2 220 天前 gc log 都不看的话确实没啥结果 |
 | 3 seers 220 天前 有点像是磁盘 io 出问题了，建议这个方向看看 |
 | 4 ronen 220 天前 接着 #3 问，你们的基础设施是自建的，还是云上的， op 能力或人力不足的时候，就拆一部分到云厂商去，规避一个人要同时关注过长技术链条。 |
 | 7 tomatocici2333 219 天前  给领导说你排查下来没什么问题，需要上级机房一起排查看看能不能让领导协助一下 |
 | 8 zhoudaiyu OP PRO @tomatocici2333 #7 机房就一句话，一切 OK ，要么就是坏了才告诉我们（其实之前就知道了，就故意不告） |
| 9 k0m8MNz2Ywf0OLeH 219 天前 转开发吧，已经我也是运维，遇到问题天天脑带大， 还要 7*24 。现在开发，天天摸鱼。运维，狗都不干  |
 | 10 Ethan24067 219 天前 @Liv1Dad 难转吗 |
 | 12 jellysheep 219 天前 负载高吗 |
| 13 tomatocici2333 219 天前 @zhoudaiyu #8 这种情况下你就要告诉 +1 了，让他去拉上开发还有机房一起去查。责任面扩大一下 |
 | 14 defunct9 219 天前 开 ssh ，让我上去看看 |
 | 15 Huelse 219 天前 99%是硬盘问题，固态硬盘故障有时就是玄学，可以往这方面排查下 |
 | 16 SmiteChow 219 天前 可能是网卡问题，这也是为什么我推荐拉取信息而不是推送信息做监测的原因，有时候网卡能发不能收，有时候能收不能发。 |
 | 17 edisonwong 219 天前 atop 或者 sar 监控 |
 | 18 sjkdsfkkfd 219 天前 整点 bpf 啥的？学好了还能跳个槽 |
| 19 zhoudaiyu OP PRO @Huelse #15 是集中式存储（ ZK ），估计是 HDD ，然后 Kafka 用的是 nvme 的 ssd ，从 dmseg 、带外、监控看都正常，docker 这个机械盘反正确实性能比较差，但是 30 多台机器就只有 3 台这样 @edisonwong #17 sar 每次抓数据间隔时间太长了 @SmiteChow #16 网卡也是正常的 @sjkdsfkkfd #18 内核太好了 2.6 和 3.10 的 @defunct9 #14 这给我开监狱去了 |
| 20 sjkdsfkkfd 219 天前 > 内核太好了 2.6 和 3.10 的 啊这，那确实很无力了 |
| 21 zhoudaiyu OP PRO @sjkdsfkkfd #20 也有 4.19 的几台，但是没出这些幺蛾子 |
22 k0m8MNz2Ywf0OLeH 219 天前 @clocean #10 都是搬砖，也没啥难不难的。 |
 | 23 hellolinuxer 218 天前 这也叫 sre 吗 |
 | 24 feedcode 218 天前 kafka JVM 的 thread stack, heap dump 有吗？ dockerd 的 stack, trace 有吗？ 没有的话只能靠猜 |
| 25 zhoudaiyu OP PRO @hellolinuxer 那您理解啥叫 SRE ？ |
Select Language