Python处理Oracle数据库的学习过程

Python处理Oracle数据库的学习过程

---

背景

产品数据存在一些大小写敏感的数据迁移到不敏感的数据库时出现报错的情况.
基于此, 我这边跟帅男同学学习了下Python的使用.
因为这一块一直比较菜.所以想着进行一下总计和备忘. 

感谢帅男提供的支持与帮助.

---

环境安装

https://download.jetbrains.com.cn/python/pycharm-community-2023.1.1.exe
下载最新的社区版.
理论上现在初学, 不需要使用企业版的高级特性. 

安装使用就可以了.
建议可以使用 python 比较新的版本 pip 有比较新
https://www.python.org/ftp/python/3.11.3/python-3.11.3-amd64.exe
# 这个网站下载速度非常慢.

---

设置project 以及安装部分pip包

这次因为仅是初学, 只学习了 configparse 和 jaydebeapi 还有 datetime 的 三个pip包.
安装方式为:
第一 先命令行修改 pip 的源到国内, 不然速度非常慢
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

第二 右上角 齿轮按钮 点击进入 setting 进入 project 进入 Python Interpreter

点击 + 就可以进行添加.

---

新增代码设置

点击Project 的名字, 然后点击新增python 文件就可以了. 

可以输入命令进行处理 最简单的hello world

print("hello world")
在当前页面邮件 run 就可以了

---

读写数据库的设置

# coding=utf-8
# 设置编码格式

import jaydebeapi
import configparser
import datetime
# 引入需要的包

config = configparser.ConfigParser()
# 定义配置对象
config.read('zhaobsh.ini',encoding='utf-8')
# 读取配置文件
jdbcString = config.get('Info','jdbcString')
driverPath = config.get('Info','driverPath')
urlString = config.get('Info','urlString')
userName = config.get('Info','userName')
passWord = config.get('Info','passWord')
# 注意 Info 为 zhaobsh.ini 里面 [Info] 指定的配置节下的内容

fname = open('zhaobsh.txt','w',encoding='utf-8')
fnamesql = open('zhaobs.sql','w',encoding='utf-8')
# 注意打开同py目录下的一个文件, 可以写入, 编码格式是utf-8
fname.write(jdbcString + " " + driverPath)
# 可以尝试写入一个内容验证是否可以. 

conn = jaydebeapi.connect(jdbcString,urlString,[userName,passWord],driverPath)
# 设置数据库连接

cur = conn.cursor()
getdatasql = "select table_name,column_name from zhaobsh003"
# 打开游标, 设置查询使用的SQL

cur.execute(getdatasql)
# 执行sql
tabledata = cur.fetchall()
# 将结果集转换到tabledata变量中
fname.write(str(datetime.datetime.now()))
starttime = datetime.datetime.now()
for tableinfo in tabledata :
    print(tableinfo[0] + " " + tableinfo[1])
    getsql =  "select count(upper(" + str(tableinfo[1]) + ")) as  " + str(tableinfo[0]) +" , upper(" + str(tableinfo[1]) +") from " + str(tableinfo[0]) + " group by upper(" +  str(tableinfo[1]) +") having count(upper(" + str(tableinfo[1]) +")) >1 "
    cur.execute(getsql)
    duplication = cur.fetchall()
    tablecheck = 0
    for duplicationitem in duplication :
        if tablecheck == 0 :
            fnamesql.write(tableinfo[0] + '\n')
            tablecheck = 1
        fnamesql.write(str(tableinfo[0]) + " " + str(duplicationitem[0]) + " " + str(duplicationitem[1]) + '\n')
# sql取数相关以及写入文件
endtime = datetime.datetime.now()
seconds = (endtime - starttime).total_seconds()
print("执行时间为: " + str(seconds))
# 计算一下耗时
fname.close()
fnamesql.close()
cur.close()
# 关闭游标 避免泄漏

---

建表SQL为:

BEGIN
   EXECUTE IMMEDIATE 'DROP TABLE zhaobsh001';
EXCEPTION
   WHEN OTHERS THEN
      IF SQLCODE != -942 THEN
         RAISE;
      END IF;
END;
/
create table zhaobsh001 as select col.TABLE_NAME,col.column_name from user_constraints con,user_cons_columns col where con.constraint_name=col.constraint_name and con.constraint_type='P' and col.TABLE_NAME in (select TABLE_NAME from user_tables where num_rows > 1 );
BEGIN
   EXECUTE IMMEDIATE 'DROP TABLE zhaobsh002';
EXCEPTION
   WHEN OTHERS THEN
      IF SQLCODE != -942 THEN
         RAISE;
      END IF;
END;
/
create table zhaobsh002 as select table_name  from (select count(col.TABLE_NAME),col.TABLE_NAME from user_constraints con,user_cons_columns col where con.constraint_name=col.constraint_name and con.constraint_type='P' and col.TABLE_NAME in (select TABLE_NAME from user_tables where num_rows > 1 ) group by col.TABLE_NAME  having(count(col.TABLE_NAME)) > 1 ) ;
BEGIN
   EXECUTE IMMEDIATE 'DROP TABLE zhaobsh003';
EXCEPTION
   WHEN OTHERS THEN
      IF SQLCODE != -942 THEN
         RAISE;
      END IF;
END;
/
create table zhaobsh003  as select  table_name,column_name from zhaobsh001 where  TABLE_NAME not in (select table_name from zhaobsh002) ;

## 这是一个sql语法的方法
select 'select count(upper('||column_name||')) as  '|| table_name ||' , upper('||column_name||') from '||table_name||' group by upper('||column_name||') having count(upper('||column_name||')) >1 ; ' from zhaobsh003

---

配置文件的格式为

[Info]
jdbcString=oracle.jdbc.driver.OracleDriver
driverPath=./driver/ojdbc8-19.3.0.0.jar
urlString=jdbc:oracle:thin:@//10.110.xx.xxx:1521/Oracle_sid
userName=yourdatabasename
passWord=somePassword