--导入大文件50G文件到mysql
1、修改配置
innodb_flush_log_at_trx_commit=0

2、导入时的注意事项
set autocommit=1;
show variables like 'autocommit';
set names utf8;
source f://file.sql;

3、过程中查看导入的数量
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED ;
SELECT count(id) FROM TABLE_NAME ;
COMMIT ;

select table_schema,table_name,table_type,table_rows
from information_schema.tables where table_name='tm_work_material'

4、sqlserver 导入mysql
https://docs.microsoft.com/zh-cn/sql/integration-services/import-export-data/connect-to-a-mysql-data-source-sql-server-import-and-export-wizard?view=sql-server-2017

5、关键步骤

6、超大文件处理EmEditor工具超级牛逼,可以免费试用1个月

7、导入过程中,检查数据的编码和导入的数量
use cdmp;

SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED ;
SELECT * FROM tm_work_material limit 10;
SELECT * FROM tm_workorder limit 10;
SELECT * FROM tm_workorder_hour limit 10;
COMMIT ;

select table_schema,table_name,table_type,table_rows
from information_schema.tables where table_name in('tm_work_material','tm_workorder','tm_workorder_hour');

8、导入过程
--------------------------------------21
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_1.sql;

set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_work_material_1.sql;

set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_hour_1.sql;

--------------------------------------22
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_2.sql;

set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_work_material_2.sql;

set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_hour_2.sql;

--------------------------------------25
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source e://tm_workorder_3.sql;

set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source e://tm_work_material_3.sql;

set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source e://tm_workorder_hour_3.sql;

导入50G文件到mysql,然后再倒入sqlserver的更多相关文章

  1. 使用pandas导入csv文件到MySQL

    之前尝试过用命令行来解决csv文件导入到MySQL这个问题,没想到一直没有成功.之后会继续更新的吧,现在先用pandas来解决这个问题,虽然会复杂一点,但至少能用. 例子是导入movielens的ra ...

  2. Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库

    前提: 每个csv文件第一行为字段名 创建的数据库字段名同csv 文件的字段名 1. 批量导入 多个 csv 文件 for file in ./*.csv;do mv $file tablename. ...

  3. 导入csv文件到mysql

    原文 给自己做备份的,高手们请忽略. 数据太大,用数据库客户端软件直接导入非常卡,还是直接执行SQL吧. 1.指定文件路径. 2.字段之间以逗号分隔,数据行之间以\r\n分隔(我这里文件是以\n分隔的 ...

  4. 导入日志文件到mysql数据库表

    #!/bin/bash #**************************************************************************** #***将/usr/ ...

  5. hibernate.cfg.xml文件连接mySql、Oracle、SqlServer配置

    1.连接mySql,文件配置如下: <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE hibe ...

  6. mysql命令行导入sql文件

    今天从windows上导出一个sql执行文件,再倒入到unbutn中,结果出现乱码,折腾7-8分钟, 解决方式 在导出mysql sql执行文件的时候,指定一下编码格式: 复制代码代码如下: mysq ...

  7. mysql中导入txt文件

    1 windows 下 mysql导入txt文件(使用mysql的workbench) load data local infile 'path' into table table_name fiel ...

  8. mysql导入.sql文件

    1. source /home/susie ...../**.sql 2. \. /home/susie/.../**.sql 批量导入.sql文件 首先新建一个main.sql,然后在main.sq ...

  9. mysql数据库导入sql文件时提示“Error Code: 1153 - Got a packet bigger than 'max_allowed_packet' bytes”解决办法

    向mysql数据库中导入sql文件时,如果文件过大(几百M),会提示"Error Code: 1153 - Got a packet bigger than 'max_allowed_pac ...

随机推荐

  1. ssh登录卡住问题

    使用ssh登录远程centos服务器,卡住不动 系统centos 7 加-v查看登录过程,一直卡在这里 解决:我的是mtu问题 将eth0 mtu 默认1500修改为1200就可以了 ifconfig ...

  2. JS.match方法 正则表达式

    match() 方法可在字符串内检索指定的值,或找到一个或多个正则表达式的匹配. 该方法类似 indexOf() 和 lastIndexOf(),但是它返回指定的值,而不是字符串的位置. <sc ...

  3. 【转】VS2010发布、打包安装程序(超全超详细)

    1. 在vs2010 选择“新建项目”→“ 其他项目类型”→“ Visual Studio Installer→“安装项目”: 命名为:Setup1 . 这是在VS2010中将有三个文件夹, 1.“应 ...

  4. convert命令

    可以修改图片的分辨率 convert -resize 600×600 src.jpg dst.jpg src.jpg是你要修改的图片的名字 dst.jpg是新生成的图片名字

  5. Java8函数之旅 (三) --几道关于流的练习题

    为什么要有练习题?    所谓学而不思则罔,思而不学则殆,在系列第一篇就表明我认为写博客,既是分享,也是自己的巩固,我深信"纸上得来终觉浅,绝知此事要躬行"的道理,因此之后的几篇博 ...

  6. c++ 循环程序的作业,2017年10月10日作业题。

    作业1: 需求:输出一个由 * 符号所组成的矩形,要求每行有50个 * ,一共需要有60行.使用双重for循环完成. 作业2: 需求:输出一个由 * 符号所组成的三角形,要求第一行一个 * ,第二行 ...

  7. 洛谷P2468 [SDOI2010]粟粟的书架(二分答案 前缀和 主席树)

    题意 题目链接 给出一个矩形,每个点都有一些值,每次询问一个子矩阵最少需要拿几个数才能构成给出的值 Sol 这题是真坑啊.. 首先出题人强行把两个题拼到了一起, 对于前$50 \%$的数据,考虑二分答 ...

  8. "mysql"."innodb_table_stats" not found 故障解决

    故障描述 "mysql"."innodb_table_stats" 表不存在 "mysql"."innodb_index_stat ...

  9. centos7.4安装rabbitmq服务(3.7.10版本)

    一.需要安装erlang版本依赖,可以使用二进制安装方式,也可以通过rpm安装,但是安装的时候会提示需要erlang版本>=19.3,而且直接默认yum仓库中的版本较低.,为了节省时间,文章中直 ...

  10. centos 关闭AliYunDun

    执行命令: service aegis stop #停止服务 chkconfig --del aegis # 删除服务