快速的mysql导入导出数据(load data和outfile)

1.load data:

***实际应用：把日志生成的xls文件load到MySQL中：

mysql_cmd = "iconv -c -f utf-8 -t gbk ./data/al_ver_" + yesterday_time + ".xls -o ./data/GBK_al_ver_" + yesterday_time + ".xls "
print(mysql_cmd)
os.system(mysql_cmd)

mysql_cmd = "mysql -h60.28.200.78 -uroot -pyeelion -A LogStat_RT  -e \"load data local  infile \'./data/GBK_al_ver_" + yesterday_time + ".xls ' into table HiveData_508\""
print(mysql_cmd)
os.system(mysql_cmd)

上边的代码在load之前先进行了转码，iconv的用法：http://www.cnblogs.com/leezhxing/p/3929435.html

基本语法：

load  data  [low_priority]  [local]   infile   'file_name'   [replace | ignore]
into table tab_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name,   )]

 

当读取位于服务器上的文本文件时，文件必须处于数据库目录或可被所有人读取。

1  指定关键词low_priority，MySQL将会等到没有其他人读这个表的时候，才把插入数据。可以使用如下的命令：

load data  low_priority infile "/home/mark/data sql" into table table_name;

2  指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上。

3  指定replace，新行将代替有相同的唯一键值的现有行。

指定ignore，和唯一键值相同行的数据不会插入。如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：

load data  low_priority infile "/home/mark/data sql" replace into table table_name;

4 分隔符

（1） fields关键字指定了文件记段的分割格式，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：

　　terminated by分隔符：以什么字符作为分隔符

　　enclosed by字段括起字符

　　terminated by描述字段的分隔符，默认情况下是tab字符（\t）

　　escaped by描述的转义字符。默认的是反斜杠（backslash：\ ）

　　例如：load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"';

（2）lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符

　　如果两个字段都指定了那fields必须在lines之前。如果不指定fields关键字缺省值与这样写的相同： fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'

　　如果你不指定一个lines子句，缺省值与如果你这样写的相同： lines terminated by'\n'

　　例如：load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n';

5  按指定的列把文件导入到数据库中。

　　 当我们要把数据的一部分内容导入的时候，，需要加入一些栏目（列/字段/field）到MySQL数据库中

　　load data infile "/home/Order txt" into table Orders(field1, field2, filed3); 　　

　　如果一个行有很少的字段，对于不存在输入字段的列被设置为缺省值。

　　如果字段值缺省，空字段值有不同的解释：

　　对于字符串类型，列被设置为空字符串。 
　　对于数字类型，列被设置为0。 
　　对于日期和时间类型，列被设置为该类型的适当“零”值。 
　　如果列有一个NULL，或(只对第一个TIMESTAMP列)在指定一个字段表时，如果TIMESTAMP列从字段表省掉，TIMESTAMP列只被设置为当前的日期和时间。

6  当在服务器主机上寻找文件时，服务器使用下列规则：

（1）如果给出一个绝对路径名，服务器使用该路径名。

（2）如果给出一个有一个或多个前置部件的相对路径名，服务器相对服务器的数据目录搜索文件。

（3）如果给出一个没有前置部件的一个文件名，服务器在当前数据库的数据库目录寻找文件。

例如： /myfile txt”给出的文件是从服务器的数据目录读取，而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。

2.outfile

select * from Table into outfile '/路径/文件名'
fields terminated by ','
enclosed by '"'
lines terminated by '\r\n'

如果指定了FIELDS子句，则这三个亚子句中至少要指定一个。

terminated by指定字段值之间的符号，例如，“terminated by ','”指定了逗号作为两个字段值之间的标志。

enclosed by指定包裹文件中字符值的符号，例如，“enclosed by ' " '”表示文件中字符值放在双引号之间，若加上关键字OPTIONALLY表示所有的值都放在双引号之间。

escaped by指定转义字符，例如，“ESCAPED BY '*'”将“*”指定为转义字符，取代“\”，如空格将表示为“*N”。

LINES子句：在LINES子句中使用TERMINATED BY指定一行结束的标志，如“LINES TERMINATED BY '?'”表示一行以“?”作为结束标志。