让拆库拆表见鬼去吧! MySQL 扩展新玩法 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PingCAP
V2EX    数据库

让拆库拆表见鬼去吧! MySQL 扩展新玩法

  •  
  •   PingCAP 2017-05-08 15:26:56 +08:00 2356 次点击
    这是一个创建于 3097 天前的主题,其中的信息可能已经有所发展或是发生改变。

    随着数据量的激增,单机数据库存不下了,怎么办?这几乎是所有互联网公司都会遇到的问题。在过去,一直没有一个优雅的解决方案从根本上解决传统关系型数据库扩展性问题,而通常的做法是业务层要把代码改个遍,如果业务上已经用了 MySQL,没有办法,只能去拆库拆表,动中间件,而这个过程对 DBA 是痛苦的,就算不死也要脱层皮。

    最近,一款国人主导开发的开源数据库项目在国内外混的风生水,不仅在 GitHub 上被推到了 Go Trending 的头条,并且累积 Star 数已近 10000。而在国内,它在被技术爱好者模仿 DB-Engine 制作出的国产数据库排行榜中,位居第二,它就是开源分布式关系型数据库 TiDB。

    21FFFCD7-2BA0-49F6-AD0F-55BCDBF5EE72.png-39.7kB

    ▲ PingCAP 联合创始人兼 CTO 黄东旭

    本期访谈嘉宾:PingCAP 联合创始人兼 CTO 黄东旭。热爱画画,美剧,摇滚乐,但更爱写代码的狂热开源爱好者,知名开源软件作者,代表作品分布式 Redis 缓存方案 Codis,以及分布式关系型数据库 TiDB。

    与黄东旭的会面一波三折,因为各自时间原因及突发事件,最终采访约定在了 PingCAP 驻地,东升科技园晚上 19 点。其实,因为 DTCC 大会的关系,虽然很早,我就与作为大会嘉宾的他互添了微信,但与他真正见面,这却是头一次。

    夜幕下的园区少了些许喧嚣,清静了许多。刚走进入 PingCAP 公司的大门,我一眼就看到了横躺在地下摆弄手中平板电脑的他,身为 CTO 的他,似乎并不太在自己的形象,反而和员工打成一片。长发、T 恤、牛仔裤,与微信中的照片一模一样,似乎任何时候,他都是这副打扮,识别率非常高。

    PingCAP 公司并不大,工位也不多,虽然已经是晚上 7 点早该下班了,但还有些工位上依然还有人在办公,脸上还洋溢着笑容,丝毫看不出加班的郁闷与不爽,有的小声交谈,有的敲击键盘,有的在拨打电话订餐,似乎在家中办公那样轻松自在,一股非常纯粹浓郁的工程师文化向我扑面而来。

    黄东旭告诉我,公司目前大概有 50 多人,其中八成是工程师,并有三分之一的同事是分散在祖国各地,公司在北京、上海、广州均有办公室。作为崇尚开源精神的公司,上班不需要打卡,并允许员工在家办公,远程办公,氛围自由而开放。两个小时的采访过程中,爱写程序技术出身的他,在谈到数据库技术时,眼中充满了狂热的光芒。

    TiDB 诞生源自 MySQL 扩展的切肤之痛

    事实上,无论是在前东家微软、网易,还是豌豆荚,黄东旭一直都在从事与基础软件领域相关的工作,如分布式存储和分布式系统,在这个过程中他敏锐的观察到,传统关系型数据库扩展性痛点,而这源自经常拆库拆表的他,有着切肤之痛。

    随着数据量的激增,单机数据库存不下了,怎么办?这几乎是所有互联网公司都会遇到的问题。但在过去,一直没有一个优雅的解决方案从根本上解决传统关系型数据库扩展性问题,通常的做法是业务层要把代码改个遍,如果业务上已经用了 MySQL,没有办法,只能去拆库拆表,动中间件,而这个过程对 DBA 是痛苦的,就算不死也要脱层皮。既然没有优雅的解决方案,那为什么我们不做一个?黄东旭反问自己。创业的动机由此而生,

    并与另外两个创始人刘奇、崔秋一拍即合,

    PingCAP 的 TiDB 在此基础上诞生了。

    TiDB 最初的灵感来自于 Google Spanner/F1 论文, 有了理论基础,想法很快就落地成产品,并取名 TiDB,Ti 是元素周期表中的一种元素,高端金属材料,既轻又结实。在黄东旭看来,Ti 能充分体现数据库很多特点,而且还很轻,不像 Hadoop 那样重。

    TiDB 与 MySQL 完全兼容,MySQL 应用无需修改便可直接运行。支持包括传统 RDBMS 和 NoSQL 的特性,可以随着数据增长而无缝水平扩展,只需要通过增加更多的机器来满足业务增长需求,应用层可以不用关心存储的容量和吞吐。用他的话说就是“会自生长”。

    TiDB 火爆开源社区,定位决定高度!

    技术出身的黄东旭,同时也具备产业判断的视野和格局。中国不缺好的工程师,中国人一样可以做出世界一流的产品。而其中的关键,在于切入方向的选择,而不是工程师的问题。他认为,眼光,一定要放眼全球。而最触动我的一句话:“定位,决定了你能达到的高度,当在这个领域已经有了很多非常强壮的竞争对手,而且成为了一个事实标准,你是很难搬搬倒对方的,先入为主,先得天下为王。”

    大数据时代到来,随着数据量爆发式的增长,数据库这层的基础设施却并没有跟上,这给了 PingCAP 一个很好的机会。分布式数据库技术由于其优良的线性横向扩展能力和良好的故障隔离性,近几年也受到了普遍关注。市场上不仅出现了很多新兴的分布式数据库引擎,老牌的数据库也在分布式技术上投入重兵,加紧部署。但这些分布式解决方案都是商业的,并且这一领域还没有形成一个事实的标准,除了积累外,这是 PingCAP 切入这一领域的主要理由,更为关键的是,优雅的开源分布式关系型数据库解决方案目前一个都没有,这在黄东旭看来就是填补空白的机会。

    而他与他的团队坚信,TiDB 具备成为一个事实标准的潜质,其次是这个方向的用户足够多。他直言不讳道,MySQL 的用户理论上都会是其客户,这个天花板足够高,市场足够大。

    开源才是基础软件出路

    选择开源这条路,并不是赶时髦也不是一时冲动,黄东旭有着自己的理解和洞察,在谈到为何 TiDB 会选择开源这种方式时,他说。基础软件领域闭源并不是最好的选择,如果是闭源的,需要铺很大的销售团队,去让客户了解你。开源能让客户更容易了解你,更多地 touch 到你的用户,并在生产环境中去磨练你的产品。他特别强调,开源并不是等于免费,开源只是让用户能快速的了解我们的产品。

    TiDB 能成为 GitHub 上的明星项目,似乎在黄东旭意料之中,较为淡然,之所以能在国内国外取得好的反响,他认为,不仅是 TiDB 本身理论比较新,解决了企业及广大传统关系型数据库扩展的痛点,更为关键的是,PingCAP 是在认真的做这件事情。

    在谈到应用案例时,黄东旭说,目前,已经有上市游戏公司在大规模的采用 TiDB 来作为其游戏端存储和大数据分析的平台,在金融行业,如征信方面,也有客户大数据平台跑在 TiDB 上。但他并没有透露具体客户名称。

    独家揭秘,TiDB 今年 2 大重要更新!

    在谈到 TiDB 今年计划和重大更新时,黄东旭透露,大的功能特性主要有 2 个:

    一、TiDB 将会深度对接 Spark SQL,Spark SQL 可以说是目前互联网数据实时分析标准方案,深度对接后,用户就可以用 Spark SQL 在 TiDB 上做数据的查询,这并不是把数据简单的倒腾到 Spark 里面,而是在存储引擎上,让 Spark SQL 把它的执行计划推下来,然后做分布式计算,这的好处在于,一份存储,多个可插拔查询引擎( TiDB / Spark SQL ),既可以用 TiDB 这边 MySQL 协议查询,同时可以用 Spark 作分析,增强了 TiDB 在 OLAP 上分析场景上的能力。

    二、添加文档型数据的使用接口支持,MySQL 在 5.7.12 的 xplugin 里面的 document store,类似 MongoDB 访问 MySQL,不需要建表,类似 Schema 特性,TiDB 也将添加了类似的支持。

    10 条回复    2017-05-09 13:10:53 +08:00
    ymd
        1
    ymd  
       2017-05-08 17:04:04 +08:00
    这么一个产品 竟然 50 多个工作人员啊
    hcymk2
        2
    hcymk2  
       2017-05-08 17:24:18 +08:00
    还以为是黄旭东
    Tyanboot
        3
    Tyanboot  
    PRO
       2017-05-08 17:36:13 +08:00 via Android
    @hcymk2 以为黄旭东+1
    qiyuey
        4
    qiyuey  
       2017-05-08 17:41:41 +08:00
    看到这个标题,我就想到是 TiDB,点进来一看,真的是,感觉已经被 TiDB 的宣传洗脑了
    NCE
        5
    NCE  
       2017-05-08 17:43:05 +08:00
    运维 DBA 测试了下,迁移现有数据一星期都导入不完,于是放弃了。88
    woshixiaohao1982
        6
    woshixiaohao1982  
       2017-05-09 07:03:07 +08:00
    @ymd 在现有的基础上开发,而不是从新实现一套底层的 行级锁 b+搜索树 还有 MySQL 的插件
    yuwenxi
        7
    yuwenxi  
       2017-05-09 09:05:29 +08:00
    黄旭东+1 2333
    234747005
        8
    234747005  
       2017-05-09 10:31:56 +08:00
    用 mariadb 代替 mysql 不就完了。
    terry1024
        9
    terry1024  
       2017-05-09 12:04:27 +08:00
    黄旭东+1 喂 TiDB 一口毒奶 2333
    lrh3321
        10
    lrh3321  
       2017-05-09 13:10:53 +08:00
    黄旭东+2
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5354 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is owered by solitude
    VERSION: 3.9.8.5 41ms UTC 06:53 PVG 14:53 LAX 23:53 JFK 02:53
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86