mysql 插入 1000 万条数据需要多久

load data 了解一下?

@SimbaPeng 插入的数据要先计算出来。。这个也能 load data ？

@lry 先计算出来写入一个文件，然后 load data 也比你这个快的多

@lry 一条 sql 写一条记录肯定慢阿，要么一条 sql 写 1000 条数据还差不多

@SimbaPeng 这个没玩过哈 感谢回复

insert 可以插入多条数据，了解一下，预计你这个量级也只是在几分钟内就可以跑完

加事务了吗？
把操作包到事务里面。

batch insert
了解一下

看你大小吧，不大的，multi-insert 分搞定。我常生做，都是 1000w 左右。

@gamexg 没有事务...

@dobelee 想问下批量插入的话 一次插多少条数据比较合适

2000 条一个批量，批量插入速度会提升很多的。我之前做过 1000-2000 条这样的批量插入 没什么问题

@lry #10 我的意思是把插入操作包到一个事务里面可以提高性能。

我这里没有 mysql 的数据，前段时间刚测试过 mssql 批量插入，记得性能是这样：
bulkcopy > 单条语句插入多行 = 单事务单语句插入单行 > 无事务单语句插入单行
印象最好的结果是 bulkcopy xW 行 /秒，可惜这个是 ms 专有的...

@gamexg 没用过事务插入 不懂。。。
刚刚试了一下一次批量插入 2000 条，总共耗时 16 分钟

很快并发写入

楼主，你在另外一张新表插入数据前，先不要建立索引，然后启用事务，插入数据。数据插完后，再添加索引。试下

@lry 老大是你吗？

为什么没人说说硬盘环境是啥？
为啥不说明下单行数据多大？
以我测试过的 gps 轨迹为例，普通 5400 转机械盘，单行 1k 大小，顺序写入，iops 可达 3000，也就是说一秒添加 3000 行
另外，你的索引需要每次重新编排，或导致你随着数据变多，插入速度越来越慢，这时候，就别只看平均值了

硬盘速度接近极限之后，自然就没法进一步提速了
楼主可能就是机械硬盘，平均算了下 3144iops，跟我的测试结果接近，可能已经达到了 5400 转机械盘的写入速度和 iops 值。
这种情况，还可以稍微改进下，就是大块写入，避免单行写入。
有意义的其他改进，就是 ：多块硬盘，换 ssd，上多硬盘磁盘阵列，做多个数据库负载 等几个方向

@abccccabc unique 索引如何处理？

130w 用了 16s： http://shopperplus.github.io/blog/2014/11/08/fastest-way-to-load-data-in-mysql.html

@woscaizi 插入数据之后，建普通索引，将重复的数据删掉，再将普通索引改为唯一索引。要么就导出 csv 格式，再用命令导入到 mysql。