这是一个创建于 3830 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个脚本， 用来拉取远程服务器上的数据，然后存入本地，
然后我 执行 python get1.py
拉取了才5w多
脚本就卡了 不动
要好几分钟才动一下
我以为是远程数据库挂了，于是新开一个窗口执行 python get1.py 速度飞快
那就正面 不是远程 和本地数据库的问题
是终端窗口 内存用光了吗
可是我的脚本 就是要让他长期运行呀，这才拉了几万个记录，就卡成这样了
那我有好几十万的数据量 怎么办呀
大家有解决办法吗
第 1 条附言 2015-07-05 12:19:40 +08:00
我的核心代码 贴在这里的 http://paste.ubuntu.com/11824534/
第 2 条附言 2015-07-05 12:22:40 +08:00
我的代码是这个 http://paste.ubuntu.com/11824534/
从代码上来看 应该是没有问题 ，后来我加了个判断， 就是offset 可以整除10000的时候 就休息10秒 [也就是每次同步1w个数据，就休息10秒] ， 但还是不行，还是会在5w左右的数据量 出现卡住的情况
而且每次都在 5w左右 卡住
所以我现在怀疑是远程数据库 做了什么限制
但是我不知道怎么办了
从代码上来看 应该是没有问题 ，后来我加了个判断， 就是offset 可以整除10000的时候 就休息10秒 [也就是每次同步1w个数据，就休息10秒] ， 但还是不行，还是会在5w左右的数据量 出现卡住的情况
而且每次都在 5w左右 卡住
所以我现在怀疑是远程数据库 做了什么限制
但是我不知道怎么办了
第 3 条附言 2015-07-05 12:25:19 +08:00
会不会是mysql 对每个会话的数据量 做了什么限制啊
第 4 条附言 2015-07-05 12:35:10 +08:00
刚才查看了 mysql rds 后台的数据
他对 IOPS 限制到200的 刚才我看他已经 用了100% 也就是用光了
是不是这个用光了啊
不过
我每秒也没有到200次啊啊
现在我测试了 超市10秒， 再看看 ，10秒没有反映 是不是会重新连接
期待上帝保佑
他对 IOPS 限制到200的 刚才我看他已经 用了100% 也就是用光了
是不是这个用光了啊
不过
我每秒也没有到200次啊啊
现在我测试了 超市10秒， 再看看 ，10秒没有反映 是不是会重新连接
期待上帝保佑
第 5 条附言 2015-07-05 15:14:14 +08:00
现在我差不多找到问题原因了
是 因为 到了 5w左右
sql语句变成了
SELECT * FROM table ORDER BY modified ASC LIMIT 52600,100
我网上搜了，说这样的话， 数据库会扫描52600行数据，所以慢，
我参考的文章是 http://www.fienda.com/archives/110
但是我这个 是根据时间戳来 拉数据的， 所以 不能用id 来排除
我要想想 怎么用时间戳 缩小范围
是 因为 到了 5w左右
sql语句变成了
SELECT * FROM table ORDER BY modified ASC LIMIT 52600,100
我网上搜了，说这样的话， 数据库会扫描52600行数据，所以慢，
我参考的文章是 http://www.fienda.com/archives/110
但是我这个 是根据时间戳来 拉数据的， 所以 不能用id 来排除
我要想想 怎么用时间戳 缩小范围
第 6 条附言 2015-07-05 16:09:25 +08:00
 | 1 qq2549112 OP 经过简单排查， 发现是 查询语句 获取结果 速度很慢 查询 到了5w多， 继续查询的话，获取数据的时间会很长， 应该不可能是网络问题 因为我新开终端 再次运行这个脚本，他跑的很快 我猜测，是不是远程数据库 因为 这个连接查询的数据量太多了，所以 需要休息 太累了 |
 | 2 20015jjw 2015-07-05 03:11:18 +08:00 via Android  1 试试查询的时候给一个timeout呢 |
 | 3 Gandum 2015-07-05 06:45:32 +08:00 via iPad 1 上代码 |
 | 4 kenken 2015-07-05 07:37:06 +08:00 1 talk is cheap, show me the code |
| 5 qq2549112 OP @Gandum @kenken 谢谢 我的代码是这个 http://paste.ubuntu.com/11824534/ 从代码上来看 应该是没有问题 ，后来我加了个判断， 就是offset 可以整除10000的时候 就休息10秒 [也就是每次同步1w个数据，就休息10秒] ， 但还是不行，还是会在5w左右的数据量 出现卡住的情况 而且每次都在 5w左右 卡住 所以我现在怀疑是远程数据库 做了什么限制 但是我不知道怎么办了 |
 | 6 benjiam 2015-07-05 12:59:16 +08:00 via Android 为什么不在5万以后断开继续 |
 | 8 imn1 2015-07-05 13:17:07 +08:00 1 如果总是在固定数量出现问题，多数是 1.远端某个环节有数量限制 2.内存 3.到特定某条数据有问题 如果是数据库的问题，只能自己解决 在代码的不同运行阶段，适当加一些delete语句，把不再使用的大数据变量扔给GC自动回收 远程要用 IP 那个for可以改成表达式 最好拖数据和数据处理分开，拖到本地再处理，不要处理完再拖 多进程拖 |
| 9 qq2549112 OP |
 | 12 lucky2touch 2015-07-05 15:35:10 +08:00 1 你这需求是做增量备份？不知道原表是如何设计的，排序的消耗是很大的，除了索引之外，类似的处理方法从设计上来说还有表分区啥的。 |
| 13 Gandum 2015-07-05 15:59:35 +08:00 via iPhone 1 这个代码应该没啥问题，不如每5W的时候就close，然后再重建连接试试？ |
| 14 Gandum 2015-07-05 16:04:13 +08:00 via iPhone 1 反正肯定不是内存问题，python在你不引用的时候会自动进行垃圾收集 |
| 15 qq2549112 OP @lucky2touch 谢谢，需求是 实时的增量备份到另外一个数据库 [mysql to postgresql] 我重新发了个帖子， http://www.v2ex.com/t/203463 感谢前辈 |
 | 16 wy315700 2015-07-05 16:08:32 +08:00 1 你给时间戳加一个索引看看 |
| 17 qq2549112 OP @Gandum 谢谢 现在我找到问题在了，是数据库的问题 我重新发了个帖子， http://www.v2ex.com/t/203463 |
Select Language