GitHub 解释近期频繁宕机原因: MySQL 不堪重负 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
huangzhe8263
V2EX    数据库

GitHub 解释近期频繁宕机原因: MySQL 不堪重负

  •  4
     
  •   huangzhe8263 2022-03-28 14:17:30 +08:00 10526 次点击
    这是一个创建于 1298 天前的主题,其中的信息可能已经有所发展或是发生改变。

    是不是在某种程度上,服务不可用的大头还是落在数据库上?


    在过去的几周里,GitHub 经历了多次宕机事件,导致平台的服务降级,影响了许多用户的正常使用。GitHub 团队在解决问题的同时,近日也分享了这些事件的详情况。

    据介绍,近期 GitHub 频繁宕机主要是其 mysql1 集群的资源争夺导致,这影响了 GitHub 在负载高峰期的大量服务和功能性能。虽然在过去几年 GitHub 已经进行了许多优化,例如增加集群以支持平台的增长、对主数据库进行分区等,但这不是一劳永逸的工作,直到现在他们仍在积极解决这个问题。


    官方博客链接:An update on recent service disruptions

    国内资讯: GitHub 解释近期频繁宕机原因:MySQL 不堪重负

    70 条回复    2022-03-30 13:06:40 +08:00
    bthulu
        1
    bthulu  
       2022-03-28 15:18:19 +08:00
    让阿里来
    magicdawn
        2
    magicdawn  
       2022-03-28 15:27:11 +08:00
    让腾讯来
    Maboroshii
        3
    Maboroshii  
       2022-03-28 15:29:55 +08:00 via Android
    让华为来
    geekershared
        4
    geekershared  
       2022-03-28 15:30:45 +08:00
    让百度来
    moxuanyuan
        5
    moxuanyuan  
       2022-03-28 15:32:11 +08:00
    让楼上来。。
    kidlj
        6
    kidlj  
       2022-03-28 15:32:15 +08:00   2
    让 PingCAP 来
    kidlj
        7
    kidlj  
       2022-03-28 15:32:37 +08:00   1
    不对,让微软来
    levon
        8
    levon  
       2022-03-28 15:34:46 +08:00   1
    我感觉是,对大部分公司来说,性能瓶颈应该都在数据库上,但现在大部分开发都在搞各种分布式上面,被大公司带歪了,人家用户量是亿级的。
    BrettD
        9
    BrettD  
       2022-03-28 15:49:41 +08:00
    @kidlj GitHub 就是微软的啊……
    2kCS5c0b0ITXE5k2
        10
    2kCS5c0b0ITXE5k2  
       2022-03-28 15:52:02 +08:00
    @levon 搞分布式和数据库又不冲突...
    0o0O0o0O0o
        11
    0o0O0o0O0o  
       2022-03-28 15:53:11 +08:00 via iPhone   73
    开 ssh ,让 @defunct9 上去看看(
    cxe2v
        12
    cxe2v  
       2022-03-28 15:54:21 +08:00
    上 sql server
    cco
        13
    cco  
       2022-03-28 16:04:32 +08:00   2
    谁联系下 github 官方,给我 ssh 权限,我上去把 mysql 卸载了就没这问题了。这解决方案值 1000W 吗?
    Mrzhs
        14
    Mrzhs  
       2022-03-28 16:12:13 +08:00
    @kidlj _(:з」∠)_ github 已经被微软收购了
    rapperx2
        15
    rapperx2  
       2022-03-28 16:14:19 +08:00
    给我开 ssh ,我上去瞧瞧
    adoal
        16
    adoal  
       2022-03-28 16:17:54 +08:00
    让 12306 来
    moult
        17
    moult  
       2022-03-28 16:25:19 +08:00   35
    @0o0O0o0O0o @rapperx2 @cco
    感谢诸位的毛遂自荐,我叫 Tree New Bee ,是 GitHub 的 DBA 人员。我让运维稍后给您开个堡垒机,麻烦协助看下问题。
    对了,因为 GitHub 有很多企业的隐私数据,为了客户的数据安全,您需要先支付 5000 元的保证金。我们在收到保证金之后,会立即发送堡垒机密码。
    qeqv
        18
    qeqv  
       2022-03-28 16:25:40 +08:00
    负载高峰期关机,不就不会宕机了吗
    liangkang1436
        19
    liangkang1436  
       2022-03-28 16:26:51 +08:00 via Android   1
    我怎么老感觉阿三掌权之后,微软的所有产品都出现了或多或少的问题,之前是 window ,现在是 GitHub ,是我的错觉吗?
    C02TobNClov1Dz56
        20
    C02TobNClov1Dz56  
       2022-03-28 16:33:07 +08:00
    @qeqv 同理, 把汽车的启动电瓶摘掉就可以省油了(
    eijnix
        21
    eijnix  
       2022-03-28 16:55:07 +08:00
    @0o0O0o0O0o 老哥 能麻烦科普一下这是什么梗么 这么多人点赞 我也想凑个热闹
    hansnow
        22
    hansnow  
       2022-03-28 17:00:28 +08:00
    pengtdyd
        23
    pengtdyd  
       2022-03-28 17:02:23 +08:00
    我觉的是中病毒了,请安装 360 安全卫士!!
    levon
        24
    levon  
       2022-03-28 17:02:43 +08:00
    @emeab 问题是很多都没必要
    0o0O0o0O0o
        25
    0o0O0o0O0o  
       2022-03-28 17:03:21 +08:00 via iPhone
    @eijnix 那是一位和善的老哥,遇到一些和服务器有关但问题总结得不够好或者很难三言两语解释清楚的求助帖子(我个人感觉是因为这样),他就会直接留言这句
    felixcode
        26
    felixcode  
       2022-03-28 17:07:11 +08:00 via Android
    先关机,把处理器统统换成 m1 ultra ,开机,搞定, 十年内不用再升级!
    sadfQED2
        27
    sadfQED2  
       2022-03-28 17:48:26 +08:00 via Android
    都被巨硬收购了,mysql 不行那当然得迁移成 sql server 啊,以后再挂也能轻松甩锅
    xingHI
        28
    xingHI  
       2022-03-28 18:11:32 +08:00
    让 apple 来
    Xhack
        29
    Xhack  
       2022-03-28 18:18:30 +08:00
    让 gitlab 来
    aptupdate
        30
    aptupdate  
       2022-03-28 18:19:59 +08:00 via iPhone
    要不换 oracle 试试?
    liuidetmks
        31
    liuidetmks  
       2022-03-28 19:21:25 +08:00 via iPhone
    github 不是应该用 sqlsever 吗
    nxcdJaNnmyF9O90X
        32
    nxcdJaNnmyF9O90X  
       2022-03-28 19:23:12 +08:00
    让华为来
    fruitscandy
        33
    fruitscandy  
       2022-03-28 19:44:32 +08:00
    有请 12306
    461da73c
        34
    461da73c  
       2022-03-28 19:55:43 +08:00
    让我来
    jousca
        35
    jousca  
       2022-03-28 20:05:17 +08:00
    @eijnix 他 @的那个是本站的运维人员。哈哈哈。
    Metre
        36
    Metre  
       2022-03-28 20:32:13 +08:00
    让达梦来
    Jinnyu
        37
    Jinnyu  
       2022-03-28 21:57:32 +08:00   1
    @adoal #16
    @fruitscandy #33
    12306 目前在用 Sybase15 + PG12
    roundgis
        38
    roundgis  
       2022-03-28 22:02:04 +08:00 via Android
    @Jinnyu 12306 用 sybase 理什?系?
    Jinnyu
        39
    Jinnyu  
       2022-03-28 22:06:04 +08:00
    @roundgis #38 所有核心业务 (苦笑
    售票 退票 改签 候补 保险
    而且是存储过程...
    roundgis
        40
    roundgis  
       2022-03-28 22:31:14 +08:00 via Android
    @Jinnyu 上找不到 12306 使用 postgres 的信息

    主要用在什的?
    sutra
        41
    sutra  
       2022-03-28 22:52:50 +08:00   1
    「作为其中的一部分,他们正在将流量转移到其他数据库」,这里的「其他数据库」应该是 「 Microsoft SQL Server 」吧。
    h82258652
        42
    h82258652  
       2022-03-28 23:12:39 +08:00
    让 stackoverflow 来
    ZE3kr
        43
    ZE3kr  
       2022-03-28 23:15:34 +08:00 via iPhone
    让 gogs 来
    louchenabc
        44
    louchenabc  
       2022-03-28 23:38:06 +08:00   2
    前阵子 Github 有一篇热门文章,说他们数据量那么大,但是并没有对数据库做水平拆分,而是按业务进行垂直拆分。

    Github 还开源了一个 MySQL 在线架构迁移工具 https://github.com/github/gh-ost ,这些早已表明 MySQL 成为了 Github 的瓶颈,他们花了大量的功夫在适应 MySQL 上,可能由于用户量和数据太大,架构上不敢做太大的改动,选择了保守,期望他们给出一个好的解决方案并分享给全世界。
    Jinnyu
        45
    Jinnyu  
       2022-03-28 23:51:35 +08:00
    @roundgis #40
    旧业务在做 PG 改造
    所有新业务必须上 K8s + PG
    iseki
        46
    iseki  
       2022-03-28 23:56:32 +08:00
    @Jinnyu 听说 12306 用的是 PG 的商业方案?
    roundgis
        47
    roundgis  
       2022-03-28 23:57:05 +08:00 via Android
    @Jinnyu 感告知,12306 用吧?
    adoal
        48
    adoal  
       2022-03-29 00:05:19 +08:00 via iPhone
    @Jinnyu 没想到 12306 在力推 PG
    tunzao
        49
    tunzao  
       2022-03-29 00:06:47 +08:00
    1. 没有慢 SQL 监控?
    2. 没有 Sharding ?
    ericls
        50
    ericls  
       2022-03-29 00:07:56 +08:00 via iPhone
    MySQL 的确有很多不可预知的 behavior, 后来转 PostgreSQL 了
    mingl0280
        51
    mingl0280  
       2022-03-29 01:06:15 +08:00
    @iseki 12306 据说是用的内存数据库,不知道是哪个产品。
    adoal
        52
    adoal  
       2022-03-29 01:18:29 +08:00 via iPhone
    @mingl0280 gemfire
    wellsc
        53
    wellsc  
       2022-03-29 01:19:32 +08:00 via Android
    @levon 好像懂了,好像又没懂
    Jinnyu
        54
    Jinnyu  
       2022-03-29 01:23:05 +08:00   1
    @iseki #46
    不是商业方案 开源的

    @roundgis #47
    达梦不清楚, 好像有部分组在用

    @adoal #48
    组内之前搞过性能测试 PG 吊打 MySQL

    @mingl0280 #51
    用的 Gemfire 但是很烂 经常抗不住压力
    GeruzoniAnsasu
        55
    GeruzoniAnsasu  
       2022-03-29 01:46:44 +08:00
    @0o0O0o0O0o 你没抢到一楼真太可惜了
    encro
        56
    encro  
       2022-03-29 08:57:48 +08:00
    @Jinnyu

    PG 吊打 MySQL ,是指个别特种索引或者加了物化视图的吧。

    不过确实如果当下做程序,推荐用 PG ,因为 MySQL 在 OLAP 领域还没起步,而基本很多业务其实都会涉及 OLAP ,特别是 PG 增量物化视图如果在能 16 版本出来,那么 SQL SERVER ,Oracle 存在意义就少很多了。
    tairan2006
        57
    tairan2006  
       2022-03-29 09:11:30 +08:00
    @encro 一般是 MySQL 迁移到 tidb ,平滑过渡
    frankkly
        58
    frankkly  
       2022-03-29 09:12:36 +08:00
    @cco 至少 3 个亿
    pkoukk
        59
    pkoukk  
       2022-03-29 09:29:54 +08:00
    换 pg 吧,pg 确实强得多
    Feiex
        60
    Feiex  
       2022-03-29 11:54:34 +08:00
    @Jinnyu gemfire 扛不住的压力,如果换 reids 可行吗
    前几年经常看到 pivotal 吹牛逼说在中国印度的铁路系统都用了 gemfire
    zhiyu1998
        61
    zhiyu1998  
       2022-03-29 12:16:20 +08:00
    让我............我大阿里来!!
    bthulu
        62
    bthulu  
       2022-03-29 14:00:21 +08:00
    @pkoukk 在中国印度的铁路系统, 中国啥时候把印度打下来了?
    Jinnyu
        63
    Jinnyu  
       2022-03-29 14:08:41 +08:00
    @Feiex #60
    能不能扛得住我不清楚
    新架构设计中考虑过, 但是业务改造量太大, 以目前的工作量来说是不可接受的
    现阶段是改造存储数据库来的划算
    JensenQian
        64
    JensenQian  
       2022-03-29 19:34:56 +08:00
    没事,GitHub 的爹微软有的是集群
    wangyzj
        65
    wangyzj  
       2022-03-29 19:43:09 +08:00
    前几楼是真德秀
    encro
        66
    encro  
       2022-03-30 08:49:03 +08:00
    @tairan2006

    tidb 只是解决了水平扩展的问题,没有解决 OLAP 问题。
    tairan2006
        67
    tairan2006  
       2022-03-30 08:53:29 +08:00   1
    @encro tidb5.0 就有 mpp 架构了,现在是 HTAP
    encro
        68
    encro  
       2022-03-30 09:23:46 +08:00
    @tairan2006

    感谢,试试看:

    TiSpark OLAP 分析引擎
    TiFlash 分布式列式存储引擎
    mmdsun
        69
    mmdsun  
       2022-03-30 13:05:37 +08:00 via iPhone
    @liangkang1436 github 以前就总是炸好吧。systemstatus 没几天是全绿的
    mmdsun
        70
    mmdsun  
       2022-03-30 13:06:40 +08:00 via iPhone
    估计 github 会换成 微软自家的 SQL SERVER 数据库
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3200 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 11:29 PVG 19:29 LAX 04:29 JFK 07:29
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86