导入50G文件到mysql,然后再倒入sqlserver
--导入大文件50G文件到mysql
1、修改配置
innodb_flush_log_at_trx_commit=0
2、导入时的注意事项
set autocommit=1;
show variables like 'autocommit';
set names utf8;
source f://file.sql;
3、过程中查看导入的数量
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED ;
SELECT count(id) FROM TABLE_NAME ;
COMMIT ;
select table_schema,table_name,table_type,table_rows
from information_schema.tables where table_name='tm_work_material'
4、sqlserver 导入mysql
https://docs.microsoft.com/zh-cn/sql/integration-services/import-export-data/connect-to-a-mysql-data-source-sql-server-import-and-export-wizard?view=sql-server-2017
5、关键步骤
6、超大文件处理EmEditor工具超级牛逼,可以免费试用1个月
7、导入过程中,检查数据的编码和导入的数量
use cdmp;
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED ;
SELECT * FROM tm_work_material limit 10;
SELECT * FROM tm_workorder limit 10;
SELECT * FROM tm_workorder_hour limit 10;
COMMIT ;
select table_schema,table_name,table_type,table_rows
from information_schema.tables where table_name in('tm_work_material','tm_workorder','tm_workorder_hour');
8、导入过程
--------------------------------------21
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_1.sql;
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_work_material_1.sql;
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_hour_1.sql;
--------------------------------------22
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_2.sql;
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_work_material_2.sql;
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source f://tm_workorder_hour_2.sql;
--------------------------------------25
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source e://tm_workorder_3.sql;
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source e://tm_work_material_3.sql;
set autocommit=1;
show variables like 'autocommit';
set names utf8;
use cdmp;
source e://tm_workorder_hour_3.sql;
导入50G文件到mysql,然后再倒入sqlserver的更多相关文章
- 使用pandas导入csv文件到MySQL
之前尝试过用命令行来解决csv文件导入到MySQL这个问题,没想到一直没有成功.之后会继续更新的吧,现在先用pandas来解决这个问题,虽然会复杂一点,但至少能用. 例子是导入movielens的ra ...
- Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库
前提: 每个csv文件第一行为字段名 创建的数据库字段名同csv 文件的字段名 1. 批量导入 多个 csv 文件 for file in ./*.csv;do mv $file tablename. ...
- 导入csv文件到mysql
原文 给自己做备份的,高手们请忽略. 数据太大,用数据库客户端软件直接导入非常卡,还是直接执行SQL吧. 1.指定文件路径. 2.字段之间以逗号分隔,数据行之间以\r\n分隔(我这里文件是以\n分隔的 ...
- 导入日志文件到mysql数据库表
#!/bin/bash #**************************************************************************** #***将/usr/ ...
- hibernate.cfg.xml文件连接mySql、Oracle、SqlServer配置
1.连接mySql,文件配置如下: <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE hibe ...
- mysql命令行导入sql文件
今天从windows上导出一个sql执行文件,再倒入到unbutn中,结果出现乱码,折腾7-8分钟, 解决方式 在导出mysql sql执行文件的时候,指定一下编码格式: 复制代码代码如下: mysq ...
- mysql中导入txt文件
1 windows 下 mysql导入txt文件(使用mysql的workbench) load data local infile 'path' into table table_name fiel ...
- mysql导入.sql文件
1. source /home/susie ...../**.sql 2. \. /home/susie/.../**.sql 批量导入.sql文件 首先新建一个main.sql,然后在main.sq ...
- mysql数据库导入sql文件时提示“Error Code: 1153 - Got a packet bigger than 'max_allowed_packet' bytes”解决办法
向mysql数据库中导入sql文件时,如果文件过大(几百M),会提示"Error Code: 1153 - Got a packet bigger than 'max_allowed_pac ...
随机推荐
- ssh登录卡住问题
使用ssh登录远程centos服务器,卡住不动 系统centos 7 加-v查看登录过程,一直卡在这里 解决:我的是mtu问题 将eth0 mtu 默认1500修改为1200就可以了 ifconfig ...
- JS.match方法 正则表达式
match() 方法可在字符串内检索指定的值,或找到一个或多个正则表达式的匹配. 该方法类似 indexOf() 和 lastIndexOf(),但是它返回指定的值,而不是字符串的位置. <sc ...
- 【转】VS2010发布、打包安装程序(超全超详细)
1. 在vs2010 选择“新建项目”→“ 其他项目类型”→“ Visual Studio Installer→“安装项目”: 命名为:Setup1 . 这是在VS2010中将有三个文件夹, 1.“应 ...
- convert命令
可以修改图片的分辨率 convert -resize 600×600 src.jpg dst.jpg src.jpg是你要修改的图片的名字 dst.jpg是新生成的图片名字
- Java8函数之旅 (三) --几道关于流的练习题
为什么要有练习题? 所谓学而不思则罔,思而不学则殆,在系列第一篇就表明我认为写博客,既是分享,也是自己的巩固,我深信"纸上得来终觉浅,绝知此事要躬行"的道理,因此之后的几篇博 ...
- c++ 循环程序的作业,2017年10月10日作业题。
作业1: 需求:输出一个由 * 符号所组成的矩形,要求每行有50个 * ,一共需要有60行.使用双重for循环完成. 作业2: 需求:输出一个由 * 符号所组成的三角形,要求第一行一个 * ,第二行 ...
- 洛谷P2468 [SDOI2010]粟粟的书架(二分答案 前缀和 主席树)
题意 题目链接 给出一个矩形,每个点都有一些值,每次询问一个子矩阵最少需要拿几个数才能构成给出的值 Sol 这题是真坑啊.. 首先出题人强行把两个题拼到了一起, 对于前$50 \%$的数据,考虑二分答 ...
- "mysql"."innodb_table_stats" not found 故障解决
故障描述 "mysql"."innodb_table_stats" 表不存在 "mysql"."innodb_index_stat ...
- centos7.4安装rabbitmq服务(3.7.10版本)
一.需要安装erlang版本依赖,可以使用二进制安装方式,也可以通过rpm安装,但是安装的时候会提示需要erlang版本>=19.3,而且直接默认yum仓库中的版本较低.,为了节省时间,文章中直 ...
- centos 关闭AliYunDun
执行命令: service aegis stop #停止服务 chkconfig --del aegis # 删除服务