网易云崩了？ 502 Bad Gateway

www 。netease 。com
open 。163 。com
house 。163 。com
随便看了一下，这些也 502 了

不懂为啥音乐软件会奔溃 这也没啥大的瞬时流量吧

@yinft 机房挂了

技术都投到如何实现摇一摇广告跳转上了，HA 就交给上天吧

@vainl1 https://you.163.com/ 这个还在

崩了，退出登录就登不上了

@root71370 感觉不是机房挂了就是机房出口光缆被挖断了，哈哈

哈哈哈,看样子都是边听音乐边摸鱼的人.

网页挂了，开了下 App 看还真寄了，图片和音乐都播不动了
估计一会就上新闻了

我还以为我电脑坏了，然后试了试手机也不行

以为是我自己的问题。

会不会是摇一摇整挂的，趁乱去造个谣，把这玩意下掉

@yinft #7

那这 HA 做了个寂寞啊。。

网易这么大一公司，机房总不能全爆炸了吧？

网易数帆首批通过中国信通院应用多活“先进级”能力评估

5 月 20 日，网易数帆轻舟云原生平台顺利通过中国信通院首批应用多活“先进级”能力评估。

为提升云服务稳定运行水平，加强企事业单位系统稳定性保障工作，中国信通院于 2022 年 3 月初发起了“云系统稳定性保障计划”（以下简称“稳保计划”），吸引了金融、云服务商、互联网等行业的 20 余家头部企业和机构参与，并完成了多项云系统稳定性相关评估。“应用多活能力”评估便是云系统稳定性评估的重要组成部分。

据了解，此次应用多活架构能力以通信行业标准《应用多活架构能力要求》为评估依据，基于当前分布式系统稳定性的发展现状与痛点，助力企业增强核心业务的连续性及抗风险能力，保证核心业务的稳定、持续运转。

《应用多活架构能力要求》标准由中国信息通信研究院牵头，网易数帆参与编制，该标准也获得了业界极高关注度。

哪个施工单位出来背锅？

我还以为是我本地的 mosdns 出问题了... 正在找问题

163.com 主站都崩了，502

网易云官方回复说是基础设施故障。不知道是什么基础设施。网上有人说是数据库迁移导致的，不知道真假。

暂停不了，一直自动切歌蹦来蹦去。。只好退出

越修越严重了

前情提要： 云音乐贵州机房迁移总体方案回顾

https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA

@FanError 自动重定向到 m.163.com 了，真搞笑，哈哈哈

又做了一次负面广告

现在网页 直接切到 m.163.com 了

服务器拿去开魔兽世界了。。。？

@tmtstudio 这个重定向倒有点像应急处理干的...

切歌的时候断了，严重影响我的生产效率了

@killva4624 这也算是止损手段啊，总比一直挂着好点

刚连魔兽主站都打不开了

@bingoup886 是啊，放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。

其他 1.1w+的第三方应用也都挂了。。。
https://mp.weixin.qq.com/s/sR5S2Hvc78sJgbCaFB4MQw

@yinft 会不会可能是删库了

高可用，异地多活
原来，大家都是草台班子

@skyyan2000 杭州的服务挂到北京的服务上也是没谁了

> 是啊，放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
@killva4624 估计这个是 ingress-nginx 的默认模板，又是 k8s 问题 (

P0 事故坐等背锅侠

在用且发现有问题的

* 网易公开课: 挂
* 网易新闻: 强制跳转手机版
* 网易云音乐: 挂
* 网易广告服务: 挂

这么大事故，这么长时间恢复不了，是不是机房被爆破了[doge]

莫非是 徐波 施法了！

也许优化到大动脉了，运维架构底层的历史包袱现在没人看得懂，一碰就 boom ！
----
@kenilalexandra 猪场肯定有冷备份，至少可以尽快恢复主站。

网易云也不过是草台班子

@Modred
* 网易数读: 挂
* 网易健康: 挂

还以为公司把网易云禁了，都开始问候公司了

全线崩溃，等会看网易新闻报网易事故

现在挂的感觉都是杭州的东西呀

什么灾备多活，就是个 PPT ，哈哈哈

连主站都受影响了，这肯定上新闻了吧。

现在为止还没恢复，，有够菜的会不会玩呀，不会又是降本增笑吧。断了这么久不得找网易退钱。

@prorigor #41 再强的班子，也不能保证百分百不出事故；那是上帝的权能

网易云音乐是不是要补偿一个月的会员啊，否则众怒难平啊

前段时间做过迁移
https://www.ithome.com/0/789/489.htm

https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA

刚崩的时候还没在意，我还庆幸我还留着 Foobar2000 了，硬盘上翻了翻还有以前剩下的几个 G 的无损音乐~~

天天吹牛逼 HA ，不也得挂着 502 慢慢修么？一个小时解决不了。天天高可用的那拨人呢？

高可用

@Richared #53 可能觉得不需要那么高的可用就优化了

@loy6491 这么看也就 b 站没吹牛逼。

@Richared #53 如果连口号都不喊的话，那不是加快公司优化么

可能之前高可用做的太好了，以至于老板觉得那帮人就是浪费公司钱吃白饭的

爽了，继续灾难修复，继续吹牛逼，我看什么时候能访问

他们团队已经提前预料到了

<img src = 'https://s3.uuu.ovh/imgs/2024/08/19/bdbb682ede714f78.jpg' >

看他们微信公众号的方案，就像看八股文一样，实际不是这么回事，哈哈，露出了基础设施团队不行咯。
https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
云音乐贵州机房迁移总体方案

恢复了

@Yorkzhu 这是老图了

@Yorkzhu 贴错了…

今天是什么重要的日子吗

据说 tidb 挂了

@mightybruce 这也八股文吗。。。

服务器被修空调的搬走了，手动狗头

突然觉得我上我也行

云音乐已经恢复了

@D0n9 业务数据迁移这些也是八股文，属于比较有难度的，整篇文章对存储层和中间件和网关提及很少，就是业务相关的数据迁移。

恢复个鸡儿，收藏还是报错

2024 年 8 月 19 日 16:11:07
网易云音乐；
歌曲播放：OK
搜索：OK
评论：OK

@MelDu 2024 年 8 月 19 日 17:11:07
时间错了

这下有人要跑路了

据说是云存储的问题，剩一个人还是咋的，按前人文档整崩了，基本都裁完了，找不到人修，真的话那可就太惨了，剩一个人维护最后还要背锅

降本增笑，裁猿广进，开猿节流的标准案例来了

降本降效（

@flyqie 服务没做跨集群部署吧...

@qingshui33 老哥，这个哪里的文章？求个地址

开猿节流，降本增笑

@mars2023 说好高可用呢？还挂这么久

@Sahzzz 22 楼发了的。。。后面很多也发了

又超时了

一定是米哈游搞的

开猿节流，降本增笑

感觉是蔡徐坤控制了网易云

降本增笑 哈哈哈

据说：是只剩一个运维了。东西太复杂，操作只能靠前人的文档。然后做了一下运维操作就炸了

作为前 SRE ，感概 SRE 工作真难。。。

内部人士说一声：确实是上面有人说的云存储问题，确实是只剩一个人，确实基本都裁完了，确实是这个人靠着前人留下的文档改错了东西。另外，不止云音乐受到影响，网易新闻也崩了，因为用的一个云存储服务。

@NiceGeekJasonChu 给了 7 天

看完了搬家方案

光看都看得我汗流浃背了都

稍有不慎就是重大事故

@TheWalkingDead #94

挺好奇云存储是怎么爆炸成这样的。。不知道会不会出对外发事故报告啥的。

怪不得前文说是基础设施。。这确实基础设施啊。

@TheWalkingDead #94 所以是把裁掉的人叫回来才解决啊吗 [吃瓜]

@TheWalkingDead 只剩一个也太搞了

真巧，赶上了