近来笔者有项目需要将原有的Oracle数据库中的数据导入到MySQL中,经过试用发现MySQL GUI Tools中的MySQL Migration Toolkit可以非常方便快捷的将Oracle数据导到MySQL中,特别是对CLOB.BLOB类型的数据也有非常好的支持.下面笔者来介绍一下MySQL Migration Toolkit的使用,该软件可以在http://dev.mysql.com/downloads/gui-tools/5.0.html处下载到. 1. 运行MySQL Migrat…
使用MySQL Migration Toolkit快速将Oracle数据导入MySQL上来先说点废话本人最近在学习一些数据库方面的知识,之前接触过Oracle和MySQL,最近又很流行MongoDB非关系型数据库,所以干脆一起研究一下,对比学习中找不同,首先说一下本人使用的数据库版本和可视化工具Oracle10G—PL/SQL Developer9MySQL5.5.29—MySQL Workbench6.0MongoDB2.4.9(32bit最大2G)—Robomongo0.8.4为了保持数据的…
MySQL GUI Tools中的MySQL Migration Toolkit可以非常方便快捷的将Oracle数据导到MySQL中,该软件可以在http://dev.mysql.com/downloads/gui-tools/5.0.html处下载到. 1. 运行MySQL Migration Toolkit,一直点“Next”到“Source Database”,在Database System中选择Oracle Database Server,如果第一次使用会告之要求加载驱动程序ojdbc…
使用MySQL Migration Toolkit快速将Oracle数据导入MySQL 上来先说点废话 本人最近在学习一些数据库方面的知识,之前接触过Oracle和MySQL,最近又很流行MongoDB非关系型数据库,所以干脆一起研究一下,对比学习中找不同,首先说一下本人使用的数据库版本和可视化工具 Oracle10G—PL/SQL Developer9 MySQL5.5.29—MySQL Workbench6.0 MongoDB2.4.9(32bit最大2G)—Robomongo0.8.4 为…
MySQL数据库转换工具MySQL Migration Toolkit v2.1特别版 支持mssql\oracle\access\excel与mysql互换 可以将任何数据源转换成mysql的数据,也可以将mysql的数据转换成其它类型的数据包括下列工具:Access-to-MySQLDBF-to-MySQLExcel-to-MySQLMSSQL-to-MySQLMySQL-to-AccessMySQL-to-ExcelMySQL-to-MSSQLMySQL-to-OracleOracle-t…
问题: 今天往Hive中导入Oracle数据的时候碰到了如下错误:Listener refused the connection with the following error: ORA-12505, TNS:listener does not currently know of SID given in connect descriptor 解决办法: 导入数据的语句如下: /usr/bin/sqoop import --connect jdbc:oracle:thin:@20.20.20.…
一.LOAD DATA INFILE http://dev.mysql.com/doc/refman/5.5/en/load-data.html 二. 当数据量较大时,如上百万甚至上千万记录时,向MySQL数据库中导入数据通常是一个比较费时的过程.通常可以采取以下方法来加速这一过程: 一.对于Myisam类型的表,可以通过以下方式快速的导入大量的数据. ALTER TABLE tblname DISABLE KEYS; loading the data ALTER TABLE tblname E…
from: http://blog.csdn.net/wangchunyu11155/article/details/53635602 [用 exp 数 据 导 出]: 1 将数据库TEST完全导出,用户名system 密码manager 导出到D:\daochu.dmp中   exp system/manager@TEST file=d:\daochu.dmp full=y 2 将数据库中system用户与sys用户的表导出   exp system/manager@TEST file=d:\…
解决了mysql gbk编码的导入导出问题,感谢作者. 一.导入数据 1.确定 数据库默认编码,比如编码 为gbk,将读入途径编码同样设为gbk,命令为:           set names gbk;2.source d:/20080613.sql 导入数据.验证 数据库 中的数据是否存在乱码.3.如果仍然存在乱码问题,这时候就要考虑改变导入文件的编码,试着 导入,直至没有乱码出现. 网页数据存入乱码问题依照以上方法同样可以解决.可将网页编码改为与 数据库 相同的编码.问题自 然解决. 4.…
1.卸载 1>快捷键win+r输入regedit进入注册表 找到3个文件夹,全部删除 . HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Services\Eventlog\Application\MySQL . HKEY_LOCAL_MACHINE\SYSTEM\ControlSet002\Services\Eventlog\Application\MySQL . HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Servi…
需求1.高效率的以excel表格的方式导入多条数据.2.以身份证号为唯一标识,如果身份证号已存在,则该条数据不导入. 分析刚开始的时候是传统的做法,解析excel数据,获取单个对象,判断身份证是否已存在表中,若没有则插入数据库.否则pass结果数据才几百条的时候,导数据都花了10分钟才导入完毕.实在太慢了,看来在程序中做数据的校验很脑残. 优化在插入数据库之前作判断太花时间,没必要.所以最后将数据的处理交给了数据库来做.建一个临时表CUST_OBJECT_TEMP,先把所有的数据都用 jdbc…
需求: oracle 数据库有一个student表,现有一个excel表:student.xlsx,需导入oracle数据库student表中. student表的拥有者是c##MLQ1  密码为:xxx 表结构: 打开需导入的excel表格,单击office按钮,选择另存为--其他格式 选择保存路径(置于D:\),保存类型CSV(逗号分隔)(*.csv),设置文件名为student.csv,单击保存   新建input.ctl文件(置于D:\),内容为: load data infile 'd…
今天需要把将近存有一千万条记录的*.sql导入到mysql中.使用navicate导入,在导入100万条之后速度就明显变慢了, 导入五百万条数据的时候用了14个小时,且后面的数据导入的越来越慢. 后来是使用的办法是: 编辑*.sql文件,把表结构里面的主键.索引等等全部删除掉,引擎改为myisam. 这样导入速度大为提高,只要了半个小时就把将近一千万数据导完了. (关于删除索引,我把多字段的索引删除了,添加了一个后面需要的单字段索引,速度也没降低多少) 当然在数据导入完之后,你可以把这些主键.索…
这里主要说一下我在适用中碰到的问题,主要过程参考 http://www.cnblogs.com/duwenlei/p/3520759.html. 首先启动MySQLMigrationTool.exe 提示“initialized java loader”错误,如下图 后来发现是因为我的jdk是64位,而工具需要32位,再装个32位jdk,我装的是1.7,如果不想改环境变量启动参考 http://javabyraj.blogspot.com/2013/09/solution-for-initial…
首先利用mysql文件,导出csv文件, 然后,直接修改csv文件,然后导入csv文件  …
--导入 select * from inhos_genoperation(表名) where UPLOAD_ORG_CODE='***' into outfile '/tmp/inhos_genoperation.sql'; --导出load data infile '/tmp/inhos_genoperation.sql' into table qingtongxiayiyuan.inhos_genoperation; 该语句不含表结构,速度超快…
一.环境配置 1.执行环境: exp/imp可以在客户端执行也可以在服务器端执行,在客户端执行需要先安装有oracle的客户端,如果是linux系统,就是以oracle用户登录,在控制台下执行.建议在服务器端执行exp,备份速度快. 2.如果没有配置oracle的exp/imp命令的环境变量,则进入到oracle的bin目录: # cd /opt/oracle_11/app/oracle/product/11.2.0/dbhome_1/bin 3.配置临时环境变量: # export ORACL…
提前说明:这个是默认oracle已经安装好切数据库默认表空间已经创建好.之后将数据表dmp文件直接导入到默认表空间里(默认表空间不用再指定,因为创建数据库时已经指定默认表空间) linux命令如下: [oracle@oracleSigle ~]$ imp test/test file=/home/oracle/tm_bus_passenger_updown.dmp ignore=y full=y //用户名和密码已经暗含默认表空间 文档结构如下…
前言 为了体现不加索引和添加索引的区别,需要使用百万级的数据,但是百万数据的表,如果使用一条条添加,特别繁琐又麻烦,这里使用存储过程快速添加数据,用时大概4个小时. 创建一个用户表 CREATE TABLE `t_sales` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(32) COLLATE utf8_bin DEFAULT NULL COMMENT '用户名', `password` varchar(64) COLLA…
使用JDBC连接MySQL数据库进行数据插入的时候,特别是大批量数据连续插入(10W+),如何提高效率呢? 在JDBC编程接口中Statement 有两个方法特别值得注意: void addBatch() throws SQLException Adds a set of parameters to this PreparedStatement object's batch of commands. int[] executeBatch() throws SQLException Submits…
sqoop = sql + hadoop 1,系统方面的准备 scp ./ojdbc6.jar root@server-1:/usr/hdp/2.6.0.3-8/sqoop/lib/scp ./ojdbc6.jar root@server-2:/usr/hdp/2.6.0.3-8/sqoop/lib/ cd /usr/hdp/2.6.0.3-8/sqoop/lib/chmod 755 ojdbc6.jar 学习了:https://www.cnblogs.com/jxhd1/p/6528574.h…
1.切换到 oracle用户 #su - oracle 2.导入(一般的不会导入到sys账号下) #imp sys/密码@orcl file=/home/oracle/20200428.dmp fromuser=备份文件时的owner  touser=需要导入到的用户名 3.输入SYSDBA #sys as sysdba #sys的密码 ......开始导入...... ###中间省略 4.连接查看…
正常启动的话,会报出“an error occurred during the initialization of the runtime system.Please make sure you have the Java Runtime Environment(JRE)5.0 Update 8 or newer instralled.”错误.而本地肯定是安装了java的.这个问题我找了好多解决方案,最终都没能正常启动.而且这个问题也被当做bug提出了,官方的解释是:mysql workbenc…
ctrl+r 输入imp…
一.Navicat Premium中的数据迁移工具 为了生产库释放部分资源,需要将API模块迁移到mysql中,及需要导数据. 尝试了oracle to mysql工具,迁移时报错不说,这么大的数据量,用这种简陋的工具不大可靠. 意外发现平时用的数据库视图工具Navicat Premium中有数据迁移工具,意外的好用.这个工具本身支持mysql,oracle,sqlLite,PostgreSql数据库,因此而也提供了在不同数据库之间迁移数据的功能. 迁移之前,先确保你建立了这两个数据库的conn…
sqlldr是oracle自带的快速导入批量数据的工具,常用于性能测试.考虑手工构造控制文件较为繁琐,因此使用脚本完成批量数据的自动导入. 基本知识 sqlldr命令语法 sqlldr dbname/dbpassword@oracle_sid control=control.ctl log=sqlldr.log bad=sqlldr.bad 选项介绍 .control 控制文件:包含导入数据和表的信息 .log 日志文件:导入过程中的日志记录 .bad 失败文件:导入失败的数据记录 .rows…
oracle 快速删除大批量数据方法(全部删除,条件删除,删除大量重复记录) 分类: ORACLE 数据库 2011-05-24 16:39 8427人阅读 评论(2) 收藏 举报 oracledeletetablesqllogginginsert 全部删除 如果是删除某个表的所有数据,并且不需要回滚,使用 TRUNCATE 就ok了.关于Trancate 参见这里http://blog.csdn.net/gnolhh168/archive/2011/05/24/6442561.aspx SQL…
本文演示快速sqlldr导入.UTL_FILE导出Oracle表数据实例 表结构如下,演示数据约112万,可自行准备. create table MemberPointDemo ( MEMBERID ) not null ,--会员ID PointType ) not null,--积分类型 Points ),--积分 SDate ) not null,--积分记账日期 Notes )--备注 ); -- Create/Recreate indexes create index IDX_MEMB…
超大数据快速导入MySQL  ----千万级数据只需几十分钟本地测试方法1.首先需要修改本地mysql的编码和路径,找到my.ini.2.在里面添加或修改 character-set-server=utf8 collation-server=utf8_general_ci default-storage-engine=INNODB (最低部添加)secure_file_priv="C:\Users\Administrator\Desktop\ye(xlsx表格所在父路径)"3.将需要的…
sqlserver自带的导入导出工具,分别导入大批量mysql和oracle数据时,mysql经常出现格式转换出错,不好导入  导入的数据量比较大时,还不如自己写个工具导入 今天在导oracle时,想着也会像mysql一样麻烦,就没有试,直接写的工具,后来试试用它自带的导入导出工具时,发现比Mysql好用多了 一能就完整的导入,格式也都能正确识别出,用着非常方便…