MySQL 5.5 Community Server MySQL 5.6 Community Server Percona Configuration Wizard XtraBackup 搭建主从复制 Great Sites on MySQL Percona MySQL Performance Blog Severalnines 推荐管理工具 Sequel Pro phpMyAdmin 推荐书目 MySQL Cookbook
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html 
这是一个创建于 3464 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在在测试一些想法，目前的程序是每次运行的时候，总要读取公司生产环境的数据库中的数据。只是读取使用，没有其他。
如果全部读取，大约 3G 左右 的内存占用，网络速度不是很快。直接用数据接口读取耗时很久。
程序是 python 写的，接受参数是一个 pandas 的 Panel ，程序内部是做了一个循环，一条一条的 feed 过去。
我的基本想法是能不能就直接就存到内存中，反正数据量也不大，这样就省去网络下载的开销。
现在能想到的就是把整个表给下载下来，保存成 csv 文件，然后本地读取。
这样一来，每次调试 /运行的时候， python 读取 G 级别大的 csv 也要耗时一点(不过比从数据库读快多了）。
1.感觉这中解决方法很 dirty ，一点不优美。
2.也有同事会有同样的需求，总不能每台机器上都自备 csv 吧。
希望各位多多指教。
如果全部读取，大约 3G 左右 的内存占用，网络速度不是很快。直接用数据接口读取耗时很久。
程序是 python 写的，接受参数是一个 pandas 的 Panel ，程序内部是做了一个循环，一条一条的 feed 过去。
我的基本想法是能不能就直接就存到内存中，反正数据量也不大，这样就省去网络下载的开销。
现在能想到的就是把整个表给下载下来，保存成 csv 文件，然后本地读取。
这样一来，每次调试 /运行的时候， python 读取 G 级别大的 csv 也要耗时一点(不过比从数据库读快多了）。
1.感觉这中解决方法很 dirty ，一点不优美。
2.也有同事会有同样的需求，总不能每台机器上都自备 csv 吧。
希望各位多多指教。
 | 1 3dwelcome 2016-06-24 09:24:29 +08:00 一般都是直接用本地 sqlite 数据库做个缓存。每次调试程序，都从网络下载 3G 数据，太夸张了。 |
 | 2 suduo1987 2016-06-24 09:54:46 +08:00 要从优化数据开始啊 3G 数据太多了 什么方法也抗不住啊 |
 | 3 domty 2016-06-24 10:54:35 +08:00 缓存数据库啊，小点的本地 sqlite,大点的单独放个服务器装 redis ， memcache 。 同时如果远程库是在不断变化的可以考虑做个同步程序。 |
 | 4 billgreen1 OP @domty ,redis 是要放在本机还是另外的服务器？ |
| 5 domty 2016-06-24 13:16:17 +08:00 @billgreen1 随便啊，你要是觉得本机性能允许同时运行程序和 redis 就放本机呗。 |
 | 6 jatesun 2016-06-24 14:31:50 +08:00 via iPhone 嗯 redisredis 缓存确实是个好方法。如果主数据库经常变动可以写个小同步程序根据实际情况定时同步 |
 | 7 realpg PRO 第一个，把你远程 MYSQL 作为主库，本地这边建立个 MYSQL 作为从库 这样基本就解决网络问题了…… |
Select Language