大文件导入 MYSQL，如何最快速。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

MySQL 5.5 Community Server

MySQL 5.6 Community Server

Percona Configuration Wizard

XtraBackup 搭建主从复制

Great Sites on MySQL

Percona

MySQL Performance Blog

Severalnines

推荐管理工具

Sequel Pro

phpMyAdmin

推荐书目

MySQL Cookbook

MySQL 相关项目

MariaDB

Drizzle

参考文档

http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 4165 天前的主题，其中的信息可能已经有所发展或是发生改变。

现有一个文本文件，5G，一条记录一行，总共两千多万条
每条记录都有固定格式。
有什么方法能快速导入？
用python一条一条插入，感觉效率很低。

导入

文本文件

MySQL

8 条回复 2014-07-23 07:01:47 +08:00

p2p

2014-07-22 20:40:13 +08:00

The LOAD DATA INFILE statement reads rows from a text file into a table at a very high speed.

hjse7en

2014-07-22 21:11:06 +08:00

LOAD DATA INFILE

fisherv

2014-07-22 21:12:54 +08:00

那么大的文件...

Sevnx

2014-07-22 21:17:13 +08:00 via Android

@fisherv
@hjse7en
@p2p
谢了。已经搞定了。

dekinr

2014-07-22 21:38:14 +08:00

咋搞定的，求分享 @Sevnx

lijinma

2014-07-22 22:09:24 +08:00

如果是我，我会把大文件记录----》生成 SQL 语句 ------》 source

不知道会不会快一点？

Sevnx

2014-07-22 22:41:36 +08:00 via Android

刚跑完。就一楼那个指令。跑到现在了。也不是很快。。
@dekinr

monkeylyf

2014-07-23 07:01:47 +08:00

batch load/batch write