54.超大数据快速导入MySQL

超大数据快速导入MySQL

 ----千万级数据只需几十分钟
本地测试方法
1.首先需要修改本地mysql的编码和路径，找到my.ini。
2.在里面添加或修改
character-set-server=utf8
collation-server=utf8_general_ci
default-storage-engine=INNODB
（最低部添加）secure_file_priv="C:\Users\Administrator\Desktop\ye（xlsx表格所在父路径）"
3.将需要的xlsx表格转换成csv格式保存
4.将csv格式用记事本打开，另存为编码为utf-8的csv格式
5.在mysql数据库里，如果某些字段涉及到html代码，需将这些字段的字段类型修改logtext。
6.在打开mysql命令行时，先建议添加一个自增ID列,方便统计记录数。
7.打开mysql命令行输入:
show databases;回车
use tablename(表名)回车
mysql>LOAD DATA INFILE "C:\\Users\\Administrator\\Desktop\\ye\\product.csv"（xlsx表格所在路径）
-> into table p1_product_description（需要传入的表名）
-> fields terminated by '&&'（字段分割符）
-> lines terminated by '\n'（换行符）
-> ignore 1 lines
-> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword);（字段名）

线上服务器方法（需要putty.exe软件）
1.将在本地测试修改好的csv格式文件上传到网站根目录下面
2.在mysql数据库里，如果某些字段涉及到html代码，需将这些字段的字段类型修改logtext。
6.在打开mysql命令行时，先建议添加一个自增ID列,方便统计记录数。
7.打开mysql命令行输入:
数据库远程登陆密码 回车
登陆数据库命令行mysql -h localhost -u root -p 回车
输入mysql数据库密码 回车
show databases;回车
use tablename(表名)回车
mysql> LOAD DATA LOCAL INFILE '/www/web/1hydraulicpump/public_html/product2.csv（csv所在路径）'
-> into table h1_product_description（需要传入的表名）
-> fields terminated by '&&（字段分割符）'
-> lines terminated by '\n（换行符）'
-> ignore 1 lines
-> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword)（字段名）;