python将oracle中的数据导入到mysql中。
一.导入表结构。使用工具:navicate premium 和PowerDesinger
1. 先用navicate premium把oracle中的数据库导出为oracle脚本。
2. 在PowerDesinger里找到 File -->> Reverse Engineer --->> Database 将数据库导入到模型。
3 在.PowerDesinger里找到Database”--->“Change Current DBMS” 将数据库由oracle转换为mysql
4. 在PowerDesinger里 按快捷键ctrl+G导出mysql的sql文件
5 用navicate premium 将脚本文件导入到mysql中。
(如果要导入的是oracle的dmp文件,请参阅 https://my.oschina.net/dolphinboy/blog/739248)
二.导入数据。 使用工具python 2.7 cx_Oracle mysql-python
在本例中oracle字符集为gbk, mysql字符集为 utf-8 在导入过程中进行了字符集转换。
导入程序代码如下:
#encoding:utf-8
import sys
import MySQLdb
import mysqlHelper
import cx_Oracle
import oracleHelper reload(sys)
sys.setdefaultencoding( "utf-8" )
def mig_database():
sql="select table_name from user_tables"
oraHelper=oracleHelper.OracleHelper()
rows=oraHelper.queryAll(sql)
for row in rows:
print row["TABLE_NAME"]
mig_table(row["TABLE_NAME"]) def mig_table(table_name):
file_object = open('log.txt','a+')
print "开始迁移"+table_name+"......"
file_object.write("开始迁移"+table_name+"......\n")
myhelper=mysqlHelper.MySQLHelper()
oraHelper=oracleHelper.OracleHelper()
myhelper.selectDb("nap")
myhelper.query("delete from "+table_name)
rows=oraHelper.queryAll("select * from "+table_name)
n=0
try:
for row in rows:
dict=convertDict(row)
myhelper.selectDb("nap")
myhelper.insert(table_name,dict)
n=n+1
myhelper.commit()
print table_name+"迁移完毕,共导入%d条数据。" %n
file_object.write(table_name+"迁移完毕,共导入%d条数据。\n" %n)
except MySQLdb.Error as e:
print table_name+"迁移失败,程序异常!"
file_object.write("table_name"+"迁移失败,程序异常!\n" %n)
print e
file_object.close() def convertDict(row):
dict={}
for k in row.keys():
#if isinstance(row[k],basestring):
if isinstance(row[k],str) or isinstance(row[k],unicode):
dict[k]= unicode2utf8(gbk2unicode(row[k]))
#dict[k]=row[k]
else:
dict[k]=row[k]
return dict def gbk2unicode(s):
return s.decode('gbk', 'ignore') def unicode2utf8(s):
return s.encode('utf-8') if __name__ == '__main__':
mig_database()
#encoding:utf-8
import MySQLdb
from datetime import *
class MySQLHelper:
#def __init__(self,host,user,password,charset="utf8"):
def __init__(self):
self.host='localhost'
self.user='root'
self.password=''
self.charset='utf8'
try:
self.conn=MySQLdb.connect(host=self.host,user=self.user,passwd=self.password)
self.conn.set_character_set(self.charset)
self.cur=self.conn.cursor()
except MySQLdb.Error as e:
print("Mysql Error %d: %s" % (e.args[0], e.args[1])) def selectDb(self,db):
try:
self.conn.select_db(db)
except MySQLdb.Error as e:
print("Mysql Error %d: %s" % (e.args[0], e.args[1])) def query(self,sql):
try:
n=self.cur.execute(sql)
return n
except MySQLdb.Error as e:
print("Mysql Error:%s\nSQL:%s" %(e,sql))
raise e def queryRow(self,sql):
self.query(sql)
result = self.cur.fetchone()
return result def queryAll(self,sql):
self.query(sql)
result=self.cur.fetchall()
desc =self.cur.description
d = []
for inv in result:
_d = {}
for i in range(0,len(inv)):
_d[desc[i][0]] = str(inv[i])
d.append(_d)
return d def insert(self,p_table_name,p_data):
for key in p_data:
if (isinstance(p_data[key],str) or isinstance(p_data[key],datetime) ):
if str(p_data[key])=="None":
p_data[key]='null'
else:
p_data[key] = "'"+str(p_data[key]).replace('%','%').replace('\'','')+"'"
else:
p_data[key] = str(p_data[key]) key ='`'+ '`,`'.join(p_data.keys())+'`'
value = ','.join(p_data.values())
real_sql = "INSERT INTO " + p_table_name + " (" + key + ") VALUES (" + value + ")"
return self.query(real_sql)
def getLastInsertId(self):
return self.cur.lastrowid def rowcount(self):
return self.cur.rowcount def commit(self):
self.conn.commit() def close(self):
self.cur.close()
self.conn.close()
#encoding:utf-8
import cx_Oracle
from datetime import *
class OracleHelper:
def __init__(self):
self.charset='utf8'
try:
self.conn = cx_Oracle.connect('scott/tiger@DESKTOP-IASSOVJ/orcl')
self.cur=self.conn.cursor()
except cx_Oracle.Error as e:
print("Mysql Error %d: %s" % (e.args[0], e.args[1])) def selectDb(self,db):
try:
self.conn.select_db(db)
except cx_Oracle.Error as e:
print("Mysql Error %d: %s" % (e.args[0], e.args[1])) def query(self,sql):
try:
n=self.cur.execute(sql)
return n
except cx_Oracle.Error as e:
print("Mysql Error:%s\nSQL:%s" %(e,sql))
raise e def queryRow(self,sql):
self.query(sql)
result = self.cur.fetchone()
return result def queryAll(self,sql):
self.query(sql)
result=self.cur.fetchall()
desc =self.cur.description
d = []
for inv in result:
_d = {}
for i in range(0,len(inv)):
_d[desc[i][0]] = str(inv[i])
d.append(_d)
return d def insert(self,p_table_name,p_data):
for key in p_data:
if (isinstance(p_data[key],str) or isinstance(p_data[key],datetime) ):
if str(p_data[key])=="None":
p_data[key]='null'
else:
p_data[key] = "'"+str(p_data[key]).replace('%','%').replace('\'','')+"'"
else:
p_data[key] = str(p_data[key]) key = ','.join(p_data.keys())
value = ','.join(p_data.values())
real_sql = "INSERT INTO " + p_table_name + " (" + key + ") VALUES (" + value + ")"
return self.query(real_sql)
def getLastInsertId(self):
return self.cur.lastrowid def rowcount(self):
return self.cur.rowcount def commit(self):
self.conn.commit() def close(self):
self.cur.close()
self.conn.close()
python将oracle中的数据导入到mysql中。的更多相关文章
- talend 将hbase中数据导入到mysql中
		
首先,解决talend连接hbase的问题: 公司使用的机器是HDP2.2的机器,上面配置好Hbase服务,在集群的/etc/hbase/conf/hbase-site.xml下,有如下配置: < ...
 - 使用Python将Excel中的数据导入到MySQL
		
使用Python将Excel中的数据导入到MySQL 工具 Python 2.7 xlrd MySQLdb 安装 Python 对于不同的系统安装方式不同,Windows平台有exe安装包,Ubunt ...
 - shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中
		
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mys ...
 - 如何使用免费控件将Word表格中的数据导入到Excel中
		
我通常使用MS Excel来存储和处理大量数据,但有时候经常会碰到一个问题—我需要的数据存储在word表格中,而不是在Excel中,这样处理起来非常麻烦,尤其是在数据比较庞大的时候, 这时我迫切地需要 ...
 - phpexcel的写操作将数据库中的数据导入到excel中
		
这个版本据说是可以支持excel2007,但是我使用2007编辑的xlsx是无法获得该库的支持.于是乎我就将它转化为2003.感觉支持地很好. 下面介绍一下具体的使用: require_once('. ...
 - C# 将List中的数据导入csv文件中
		
//http://www.cnblogs.com/mingmingruyuedlut/archive/2013/01/20/2849906.html C# 将List中的数据导入csv文件中 将数 ...
 - 如何将数据库中的数据导入到Solr中
		
要使用solr实现网站中商品搜索,需要将mysql数据库中数据在solr中创建索引. 1.需要在solr的schema.xml文件定义要存储的商品Field. 商品表中的字段为: 配置内容是: < ...
 - 小技巧之“将Text文件中的数据导入到Excel中,这里空格为分割符为例”
		
1.使用场景 将数据以文本导出后,想录入到Excel中,的简便方案, 起因:对于Excel的导出,Text导出明显会更方便些 2.将Text文件中的数据导入到Excel中,这里空格为分割符为例的步骤 ...
 - Sql Server中的数据类型和Mysql中的数据类型的对应关系(转)
		
Sql Server中的数据类型和Mysql中的数据类型的对应关系(转):https://blog.csdn.net/lilong329329/article/details/78899477 一.S ...
 
随机推荐
- Linux 文件的读写执行权限的说明
			
文件的读写执行权限的说明 X 进入目录的权限: cd 1.文件本身是可执行的 2.普通用户还具备r的权限 3.root用户只需要有r的权限即可 r 查看目录/文件的内容 :ls dir 没有读的权 限 ...
 - 铁乐学python_day13_迭代器生成器
			
一.[可迭代对象Iterable] 粗略判断的话,我们可以说能被for循环进行遍历的对象就是可迭代对象,如str,list,tuple,dict(key),set,range. (open file ...
 - for/while 循环全部执行完,, 中途不会停下!!中途不会停下!!中途不会停下!!!   中途不会停下!!!!!
			
对于这样一个在for 里面的, 他会从开始到最后走走一遍,然后再回到开始, 而不是在里面有两个操作,全部操作完第一个再往下走, 这个和我的学习方法似乎一样,真的要全局来一遍,再从新来一遍回顾问题 下面 ...
 - Subversion、TortoiseSVN、Ankhsvn+VS使用
			
Subversion为版本控制软件的服务器端.VisualSVN Server 可以在Windows平台安装和管理全功能的Subversion server. TortoiseSVN为Subversi ...
 - 【跨域】#001 JSONP原理解析【总结】
			
一.JSONP 是什么? 1.1 概念 JSONP(JSON with Padding)是资料格式 JSON 的一种“使用模式”,可以让网页从别的网域要资料.由于同源策略,一般来说位于 server1 ...
 - [T-ARA][I'm so bad]
			
歌词来源:http://music.163.com/#/song?id=22704433 作曲 : 김태현 , 조영수 [作曲 : k/gim-Tae-hyeon , c/jo-yeong-su] 作 ...
 - R语言常用语法和用法
			
数据准备 height <- c(6.00, 5.92, 5.58, 5.92) 1 计算均值 mean(height) [1] 5.855 2 计算中位数 median(height) [1] ...
 - P4197 Peaks
			
题目描述 在Bytemountains有N座山峰,每座山峰有他的高度\(h_i\).有些山峰之间有双向道路相连,共M条路径,每条路径有一个困难值,这个值越大表示越难走,现在有Q组询问,每组询问询问从点 ...
 - two sum[easy]
			
Given an array of integers, return indices of the two numbers such that they add up to a specific ta ...
 - 404 Note Found 队-Beta5
			
目录 组员情况 组员1(组长):胡绪佩 组员2:胡青元 组员3:庄卉 组员4:家灿 组员5:恺琳 组员6:翟丹丹 组员7:何家伟 组员8:政演 组员9:黄鸿杰 组员10:刘一好 组员11:何宇恒 展示 ...