MySQL 数据库部署与查询优化的问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
jinxueliu
V2EX    MySQL

MySQL 数据库部署与查询优化的问题

  •  
  •   jinxueliu 2016-06-20 18:03:09 +08:00 3073 次点击
    这是一个创建于 3424 天前的主题,其中的信息可能已经有所发展或是发生改变。
    假设有一台数据库服务器, 然后我有几台分布式的计算服务器,
    计算服务器需要从数据库服务器上查询大量的数据(某些字段,但是是二进制值),然后再进行本地计算

    现在我有几个问题
    1 如何加速查询时间;
    2 如何加速网络传输时间(计算服务器和数据库服务器不在一个网段) ;
    3 第 2 个问题是否可以通过在计算服务器建立备库来解决(变成本地查询),或者有其他更简单的方法?
    8 条回复    2016-06-21 11:54:08 +08:00
    monsterxx03
        1
    monsterxx03  
       2016-06-20 18:22:09 +08:00
    1.根据查询条件建立 index
    3. 可以, 如果从库的延迟在你可接受范围内的话.
    jinxueliu
        2
    jinxueliu  
    OP
       2016-06-20 18:33:13 +08:00
    @monsterxx03 延迟是可以接受的,就是维护从库的成本高不高? 这方面不是很有经验,求指教
    monsterxx03
        3
    monsterxx03  
       2016-06-20 18:48:03 +08:00   1
    如果 replicate 的过程没断开的话没啥维护成本,如果不小心断了要重新 sync 一遍挺折腾的.
    如果你的主库有线上的实时查询的话还是建从库来处理你的计算服务器请求吧, 不然会对线上产生压力.
    domty
        4
    domty  
       2016-06-21 10:36:03 +08:00
    现在 web 服务的性能瓶颈绝大部分都在数据库上。服务器端程序的运行只要代码写的不是特别糟糕都没太大问题。
    所以简单点,要么重新优化你的数据库,要么加缓存。

    至于建立备库,我看不出有啥需要,反而到时候两个库之间的主从同步还会是个问题。
    jinxueliu
        5
    jinxueliu  
    OP
       2016-06-21 10:52:01 +08:00
    @domty 今天测了一下, duration time 只要 0.0013s, 而 fetch time 需要 0.13s, 所以主要的瓶颈还是在传输,
    这样子的话,优化数据库和加缓存是否不起作用
    jinxueliu
        6
    jinxueliu  
    OP
       2016-06-21 10:54:14 +08:00
    @domty 加缓存能解决传输时间的问题吗?
    domty
        7
    domty  
       2016-06-21 10:58:30 +08:00   1
    @jinxueliu
    多测试几次看看测试数据吧。
    如果确认原因是网络传输不稳定的话,优化数据库的意义没那么大。
    加缓存如果缓存数据库和计算服务器不是部署在同一网段还是要考虑网络问题。
    jinxueliu
        8
    jinxueliu  
    OP
       2016-06-21 11:54:08 +08:00
    @domty @monsterxx03 好的,谢谢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1498 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 16:39 PVG 00:39 LAX 08:39 JFK 11:39
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86