滴滴在 28 日启动了内部复盘调查。初步确定,这起事故的起因是底层系统软件发生故障,并非网传的“遭受攻击”。
1 ucyo OP 11 月 27 日夜间发生的系统故障,给广大用户造成了诸多困扰和不便,在大家需要我们的时候,我们让大家失望了,再次向大家真诚致歉。 各项服务恢复的同时,我们在 28 日启动了内部复盘调查。初步确定,这起事故的起因是底层系统软件发生故障,并非网传的“遭受攻击”,后续我们将深入开展技术风险隐患排查和升级工作,全面保障服务稳定性,尽最大努力避免类似事故再发生。 目前,滴滴 App 的所有服务已经全部恢复。因这起事故给大家造成的困扰和问题,我们正在加快妥善解决。感谢大家对滴滴的鞭策、关心和包容。今天的滴滴还有很多不足,我们将以此为戒,在全公司范围内深刻反思,全力改正,继续努力做好服务保障。 滴滴出行 2023 年 11 月 29 日 |
![]() | 2 wcnmm 2023-11-29 15:14:58 +08:00 降薪裁猿,所以走之前留了一个定时 bug ( |
4 lovelylain 2023-11-29 15:26:41 +08:00 到现在还只是初步确定故障原因,也是神奇,有没有知道细节的彦祖说一下,这到底是个什么样的故障? |
![]() | 5 mightybruce 2023-11-29 15:31:10 +08:00 已经在一些网站上公布了,是因为 K8s 版本升级升错了,造成基础设施问题。 https://www.oschina.net/news/268635 |
6 binbin0915jjpp 2023-11-29 16:20:21 +08:00 K8S... 运维要祭旗 |
![]() | 7 mightybruce 2023-11-29 16:27:12 +08:00 ![]() 基础设施才会导致这种大规模问题,否则软件版本回滚还是很快的。难道降本增效到了深水区了。 |
![]() | 8 flyqie 2023-11-29 16:34:21 +08:00 via Android |
![]() | 9 cubecube 2023-11-29 16:36:48 +08:00 @lovelylain 内部肯定知道了,就是打个马虎眼,不会公布的 |
10 1145148964 2023-11-29 16:37:53 +08:00 ![]() 连会升级服务器的都没了。。。。。。。。。 事实证明学技术无法不被裁员,得学点其他的 |
11 pandaPapa 2023-11-29 16:39:56 +08:00 K8S 版本错误 不至于搞这么久吧 |
12 leefor2020 2023-11-29 16:42:50 +08:00 @pandaPapa , 可能是找这个原因找了很久 |
![]() | 13 mightybruce 2023-11-29 16:45:42 +08:00 @pandaPapa 如果是集群所有的 master 高可用节点都挂了, 想调度都调度不了。这种错误真的是极其少见。 |
![]() | 14 mightybruce &nbp;2023-11-29 16:47:44 +08:00 k8s 跨版本升级是有很多坑的, 像滴滴 K8s 版本这么久还没升级估计就是在做很多测试。 结果版本还升级错了。 |
15 MuSit 2023-11-29 16:55:32 +08:00 via Android 12 还有人在用? 我很好奇之前滴滴用的啥版本.8? |
![]() | 16 hahastudio 2023-11-29 16:58:11 +08:00 说起来网传“遭受攻击”这件事,我是在这个调查说明里才见到的,之前有其他地方传过么 |
![]() | 18 Frankcox 2023-11-29 17:09:25 +08:00 k8s 1.12 那都是多久之前了,而且更新一个控制节点是怎么做到“污染整个机房”的,我个人是很怀疑网传这事的真假的 |
![]() | 23 seers 2023-11-29 17:13:09 +08:00 via iPhone 滴滴没找云厂商托管,比较诧异 |
![]() | 24 4771314 2023-11-29 17:15:08 +08:00 降本增笑 |
![]() | 25 me1onsoda 2023-11-29 17:15:46 +08:00 @leefor2020 很容易定位吧,资源调度不了,最近又刚升级 k8s ,很容易联想到啊 |
![]() | 26 shenlanAZ 2023-11-29 17:18:48 +08:00 连滴滴旗下的新能源充电站都挂了,真的是该去去中心化了 |
27 Masoud2023 2023-11-29 17:21:23 +08:00 k8s 这么脆的? 1.18 升 1.20 都能炸成这样? |
28 Masoud2023 2023-11-29 17:21:41 +08:00 打错,1.12 |
![]() | 29 k9982874 2023-11-29 17:25:32 +08:00 刚入职的运维:sudo apt-get update && sudo apt-get -y upgrade 滴滴监控系统:Alarm! Alarm! Alarm! System Down! |
![]() | 30 mightybruce 2023-11-29 17:26:22 +08:00 ![]() 滴滴技术自己写的 k8s 升级 https://mp.weixin.qq.com/s/nMSIsS72fSXGqJO9Vy_Pfw 像大厂商都会自建 IDC, 不然投资人为什么愿意在当年投资那么多钱给它, 你只有花得多,才会有更多的投资。 |
![]() | 31 mightybruce 2023-11-29 17:59:46 +08:00 K8s 跨版本升级是很危险的, 除非集群里 没有任何第三方的 Operator 完全是自研的 而且充分考虑到兼容度, 代码全部改过了,你无法保证各种依赖的兼容性。 一般都是升级到高一个版本,中间版本慢慢过渡,1.12 到 1.20 属于艺高人胆大。 |
32 xinshoushanglu 2023-11-29 19:11:58 +08:00 疯狂作死, |
![]() | 33 davis2023 2023-11-29 20:47:14 +08:00 这种没有 devops 工具流水线一个环境一个环境推送吗? |
34 chenyx9 2023-11-30 02:33:08 +08:00 降本增笑 |
![]() | 35 xuanbg 2023-11-30 03:45:54 +08:00 @mightybruce 照这个文档说的,滴滴不是早在一个月前就把 k8s 升级到 1.20 了么? |
![]() | 38 SilentOrFight 2023-11-30 10:19:45 +08:00 @mightybruce #30 规模大,应该是自建比上云便宜多了吧 |
39 EchoJose 2023-11-30 11:40:23 +08:00 这告诉我们一个道理,运行的好好的软件就不要乱升级想搞大新闻,又不是不能用 |
40 mingqing 2023-11-30 14:12:59 +08:00 看看有没有官方通告 |
41 xu2goyuchen 2023-11-30 14:35:31 +08:00 真相是昂贵的,影响股票价格的,就会跟之前阿里云的一样,默默消失在视野中 |