如何优雅的实现千万级以上数据存储与读取? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
IfEles
V2EX    数据库

如何优雅的实现千万级以上数据存储与读取?

  •  
  •   IfEles 2021-04-16 21:48:37 +08:00 3441 次点击
    这是一个创建于 1637 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近有个需求,做一个简单的比喻,比方说有一片海域养殖生蚝,海域里有上千个养殖点,每个养殖点有一串生蚝养殖基,每个生蚝有每个生蚝的一些信息字段,这样大概有四张表:海域表 /养殖点表 /养殖基表 /生蚝表,数据量大概会有千万级以上,业务场景需要读的场景比较多,写的话压力不大也可以用中间件分批写入,如果用 mysql 这类关系型数据库,感觉有点扛不住,V 友们有这方面的经验吗?或者有别的 DB 可以推荐的,感谢了~
    第 1 条附言    2021-04-19 15:42:15 +08:00
    多谢各位大佬,有时间了我找两台服务器试试分库分表模拟一下数据测试一下,对了忘记说了,数据中可能会有部分空间数据,这个时候是不是 postgresql 相对于 mysql 更具优势,但是 postgresql 没玩过分库分表不知道坑多不多
    19 条回复    2021-04-21 15:32:33 +08:00
    manami
        1
    manami  
       2021-04-16 22:03:54 +08:00
    如果只是读的场景多而写的压力不大的话,千万级其实用 mysql 就行,索引做好
    yeqizhang
        2
    yeqizhang  
       2021-04-16 22:13:30 +08:00 via Android
    千万级 mysql 还是没问题的,我建议给你们前面三个表加编码,编码不能修改,然后生蚝的编码就是 00100010001xxxx 这样编码,这样加个索引后不用关键查询直接模糊查询
    cmdOptionKana
        3
    cmdOptionKana  
       2021-04-16 22:19:37 +08:00
    建议生成伪数据试一下,反正伪数据也很好弄不麻烦。
    rekulas
        4
    rekulas  
       2021-04-16 23:22:29 +08:00
    我们单表最大就在 x 千万级,配个 1w 多的机器毫无压力,朋友的 mysql 也有在亿级使用的,不过由于特殊查询的原因,已经在考虑换数据库
    如果还担心 hold 不住,直接上云,阿里 polar 入门级一年也就几千,我们也在使用感觉挺棒,感觉普通亿级数据支撑应该问题不大
    zhady009
        5
    zhady009  
       2021-04-16 23:31:05 +08:00
    数据仓库?
    domodomo
        6
    domodomo  
       2021-04-17 01:35:13 +08:00
    其实没什么压力,你要真觉得压力大,简单的拆表就行了,毕竟业务也不复杂。
    ch2
        7
    ch2  
       2021-04-17 01:35:24 +08:00 via iPhone
    mysql 问题不大,mongo 也行
    gBurnX
        8
    gBurnX  
       2021-04-17 08:30:58 +08:00
    建议你还是先预估一下数据 io 的特点与数量,一上来就说 mysql 扛不住是不理智的。
    skys215
        9
    skys215  
       2021-04-17 10:19:29 +08:00
    只读取的话,mysql 有个 archive 引擎
    maemual
        10
    maemual  
       2021-04-17 22:02:31 +08:00
    其实还是得看查询有多复杂,如果查询够简单、索引做好,单表千万根本不算事。我们还有单表五六十亿的呢,毫无问题。
    Evilk
        11
    Evilk  
       2021-04-18 15:01:03 +08:00 via iPhone
    @maemual 我们也是,单表上亿,毫无问题
    tony601818
        12
    tony601818  
       2021-04-18 15:40:21 +08:00
    > mysql 这类关系型数据库,感觉有点扛不住

    不要抹黑 mysql……想用非关系型的直接用,非关系型推荐上云提高开发效率。

    读多写少到底是多少读多少写?
    bthulu
        13
    bthulu  
       2021-04-19 08:51:33 +08:00
    只针对索引查询, Mysql 单表几百亿毫无压力
    misaka19000
        14
    misaka19000  
       2021-04-19 10:46:41 +08:00
    上千万的数据 1h1g 的 mysql 随便写
    no1xsyzy
        15
    no1xsyzy  
       2021-04-19 12:48:51 +08:00
    对于性能问题,在你实测之前抛出一句扛不住挺诡异的。
    毕竟所有的数据库中,关系型数据库的优化是做得最充分的

    你不应该写一些稀奇古怪的代码来提升运行效率,而应该采用最常用的写法,因为最常用的写法拥有最充分的优化。
    Goat121
        16
    Goat121  
       2021-04-19 15:40:19 +08:00
    千万级还优化啥啊。。
    windsound
        17
    windsound  
       2021-04-19 17:11:36 +08:00
    曾经我们的 mysql 但表 6 亿,也没什么问题,索引配置好。
    MrWhite
        18
    MrWhite  
       2021-04-19 20:03:38 +08:00
    @godwinma 6E?... 我们一千多万就分了。。
    windsound
        19
    windsound  
       2021-04-21 15:32:33 +08:00
    @MrWhite 嗯,配合每隔几天定时删除一批+每天基本写入 1000w+的数据,坚持了一段时间,后来每天写入越来越多,最后就拆了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1083 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 23:14 PVG 07:14 LAX 16:14 JFK 19:14
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86