Oracle 自动生成hive建表语句
从 oracle 数据库导数到到 hive 大数据平台,需要按照大数据平台的数据规范,重新生成建表的 SQL 语句,方便其间,写了一个自动生成SQL的存储过程。
① 创建一张表,用来存储源表的结构,以便进行数据处理(可以用临时表,创建表是为了方便核对数据);
create table T_P_TABLE_NAME_TEMP
(
owner VARCHAR2(30) not null,
table_name VARCHAR2(30) not null,
tab_comments VARCHAR2(4000),
column_name VARCHAR2(30) not null,
data_type VARCHAR2(106),
col_comments VARCHAR2(4000)
);
② 还需要一张表来存储生成的SQL语句。
-- Create table
create table T_SQL
(
scsj DATE,
sqlyj VARCHAR2(4000),
table_name VARCHAR2(100) not null,
mxyj VARCHAR2(4000)
)
-- Add comments to the columns
comment on column T_SQL.scsj
is '生成时间';
comment on column T_SQL.sqlyj
is 'SQL语句';
comment on column T_SQL.table_name
is '表名';
③ 存储过程代码。
create or replace procedure p_ddpt_sql_init(p_table_name varchar2, --输入表名,必须大写
p_error_no out int, --错误编号
p_error_info out varchar2 --错误信息
) --调度平台 建表语句生成 as
nb_begindate date;
nb_enddate date;
v_count number; v_update_sql varchar(2000);
v_temp_sql varchar(2000);
v_detail_sql varchar(2000);
v_out_sql varchar(2000); v_owner varchar(2000);
v_table_name varchar(2000);
v_tab_comments varchar(2000);
v_column_name varchar(2000);
v_data_type varchar(2000);
v_col_comments varchar(2000);
begin p_error_no := 0;
p_error_info := ''; nb_begindate := sysdate; v_out_sql := 'use dm_mms;'||chr(13)||
'drop table '||p_table_name||';'||chr(13)||
'create table '||p_table_name||'('||chr(13); execute immediate 'truncate table t_p_table_name_temp'; insert into t_p_table_name_temp
(owner, table_name, tab_comments, column_name, data_type, col_comments)
select a.owner,
a.table_name,
c.comments tab_comments,
a.column_name,
a.data_type,
b.comments col_comments
from all_tab_columns a, all_col_comments b, all_tab_comments c
where a.table_name = b.table_name
and a.owner = b.owner
and a.column_name = b.column_name
and a.table_name = c.table_name
and a.owner = c.owner
and c.table_type = 'TABLE'
and a.table_name = p_table_name
order by a.table_name;
commit; update t_p_table_name_temp set data_type = 'string' where data_type = 'VARCHAR2';
update t_p_table_name_temp set data_type = 'double' where data_type = 'NUMBER';
commit; update t_p_table_name_temp set data_type = 'string' where column_name = 'YGBH';
update t_p_table_name_temp set data_type = 'string' where column_name = 'DWBH';
update t_p_table_name_temp set data_type = 'string' where column_name = 'FGS';
update t_p_table_name_temp set data_type = 'string' where column_name = 'KHYF';
update t_p_table_name_temp set data_type = 'string' where column_name = 'SFYL';
update t_p_table_name_temp set data_type = 'string' where column_name = 'RSSJ';
update t_p_table_name_temp set data_type = 'string' where column_name = 'YLSC';
update t_p_table_name_temp set data_type = 'string' where column_name = 'YGZT';
update t_p_table_name_temp set data_type = 'string' where column_name = 'SYYLYF';
update t_p_table_name_temp set data_type = 'string' where column_name = 'YGLX';
update t_p_table_name_temp set data_type = 'string' where column_name = 'KHBH';
update t_p_table_name_temp set data_type = 'string' where column_name = 'CSMRZ';
update t_p_table_name_temp set data_type = 'string' where column_name = 'CSLX';
update t_p_table_name_temp set data_type = 'string' where column_name like '%YF';
update t_p_table_name_temp set data_type = 'string' where column_name like '%RQ';
update t_p_table_name_temp set data_type = 'string' where column_name like '%BH';
commit; --v_update_sql := 'update'|| p_table_name || ' set yj=replace(yj,''chr(13)'',chr(13)) where table_name = '''||p_table_name ||'''';
dbms_output.put_line(v_update_sql); for c_row in (SELECT * FROM t_p_table_name_temp)
loop v_owner := c_row.owner;
v_table_name := c_row.table_name;
v_tab_comments := c_row.tab_comments;
v_column_name := c_row.column_name;
v_data_type := c_row.data_type;
v_col_comments := c_row.col_comments; if v_temp_sql is null then
v_temp_sql := v_column_name ||' '||v_data_type || ' comment '||'"'||v_col_comments||'"';
v_detail_sql := v_column_name;
else
v_temp_sql := v_temp_sql ||','||chr(13) || v_column_name ||' '||v_data_type || ' comment '||'"'||v_col_comments||'"';
v_detail_sql := v_detail_sql||',' || chr(13) || v_column_name;
end if; end loop; --select distinct tab_comments into v_tab_comments from t_p_table_name_temp; v_out_sql := v_out_sql || v_temp_sql ||') '||chr(13) ||'comment '||'"'|| v_tab_comments||'"'||chr(13);
v_detail_sql := 'select ' || chr(13) || v_detail_sql || ' from '|| v_owner ||'.' ||v_table_name; v_out_sql:=v_out_sql||'partitioned by(busi_date string) '||';'; nb_enddate := sysdate; delete t_sql where table_name = p_table_name;
insert into t_sql
(scsj, sqlyj, table_name, mxyj)
values
(nb_enddate, v_out_sql, p_table_name, v_detail_sql);
commit; p_error_no := 1;
p_error_info := '调度平台建表语句生成成功!';
--p_insert_log_info('', nb_begindate, nb_enddate, '调度平台SQL语句生成', 'p_ddpt_sql_init', p_error_no, p_error_info);
exception
when others then
p_error_no := -1;
p_error_info := '调度平台建表语句生成失败!' || sqlerrm;
--p_insert_log_info('', nb_begindate, nb_enddate, '奖励38 调度平台SQL语句生成', 'p_ddpt_sql_init', p_error_no, p_error_info);
rollback;
end p_ddpt_sql_init;
执行这段代码,生成的SQL语句会存储在T_SQL表中。
Oracle 自动生成hive建表语句的更多相关文章
- 利用MySQL原数据信息批量转换指定库数据表生成Hive建表语句
1.写出文件工具类 package ccc.utile; import java.io.*; /** * @author ccc * @version 1.0.0 * @ClassName Write ...
- 脚本工具---自动解析mysql建表语句,生成sqlalchemy表对象声明
常规建表语句: CREATE TABLE `test_table` ( `id` int(11) NOT NULL, `name` char(64) NOT NULL, `password` char ...
- 用PowerDesigner生成自定义建表语句
原文:用PowerDesigner生成自定义建表语句 我们经常用PowerDesigner来进行数据库表结构的设计,并且设计出来的表比较直观的看出之间的相互关系,方便理解:但其自动生成的脚本并不一定符 ...
- hive查看建表语句
查看hive建表语句:show create table tablename; 查看hive表结构:describe tablename; 简写:desc tablename;
- Mysql元数据生成Hive建表语句注释脚本
在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时,需要同步mysql表中的注释,以下脚本可以生成hive表字段注释修改语句. 注:其他关系型数据库如:oracle 可以通过相同的思路, ...
- 获取impala下所有的数据库建表语句
方法一: 现在的导出还是有缺陷的,导出的文件中还是存在其他不必要的信息 #!/bin/bash ##获取数据库 databases=$(hive -e "show databases; ex ...
- 【SQL】ORACLE在sqlplus中使用spool方式生成建表语句
在实际生产中有时我们需要将一张表的数据导入到另外一张表,如果有PLSQL,我们可以通过PLSQL工具将数据导出为sql脚本,然后再在另外一个数据库中执行这个脚本.但有时在实际生产中我们没有PLSQL这 ...
- Oracle获取干净的建表DDL语句,不含其它存储、表空间、段属性
早上一个同事资讯怎么获取到建表语句而且是不带存储那种SQL.Oracle自己提供了一个函数DBMS_METADATA.GET_DDL,但是获取到的建表语句含有存储.表空间.以及一些其他段的属性.如图: ...
- 批量导出hive表的建表语句
转的这里的 首先先导出所有的table表 hive -e "use xxxdb;show tables;" > tables.txt 然后再使用hive内置语法导出hive表 ...
随机推荐
- Exadata中的dbserver_backup.sh脚本
dbserver_backup.sh脚本在老版本的exadata中,它存放在/opt/oracle.SupportTools目录中,主要用于/根文件系统和/boot分区的备份.dbserver_bac ...
- 使用命令安装vue插件
使用命令npm install element-ui --save-dev 安装element-ui. --save-dev表示自动添加配置依赖到package.json文件的devDependenc ...
- Java start和run启动线程的区别
我们知道,我们通过调用线程的start方法启动一个线程,那么,我们可以直接调用run方法来启动一个线程吗? 先看下面一段代码: public class Test { public static vo ...
- 外键约束 foreign key
外键约束 :保持数据一致性,完整性实现一对多关系.外键必须关联到键上面去,一般情况是,关联到另一张表的主键 (因为一个表只存一类信息.用外键来做参照,保证数据的一致性,可以减少数据冗余) ##表acr ...
- poj 2348 Euclid's Game
题目: 给两个整数a和b,两个人先后用较大的数减去较小数的整数倍,并且保证相减后为非负数.先把一个数变为0的人获胜. 分析: 很显然,当大数是小数的整数倍时为必胜态. 从这道题学会一个叫做自由度的东西 ...
- grep 显示匹配行的上下n行
grep -C 5 foo file 显示file文件中匹配foo字串那行以及上下5行grep -B 5 foo file 显示foo及前5行grep -A 5 foo file 显示foo及后5行
- Unity [RequireComponent(typeof(组件名))]
- Spark Mllib里的如何对单个数据集用斯皮尔曼计算相关系数
不多说,直接上干货! import org.apache.spark.mllib.stat.Statistics 具体,见 Spark Mllib机器学习实战的第4章 Mllib基本数据类型和Mlli ...
- JVM垃圾收集器总结
前言: 了解了JVM垃圾回收算法之后就要说说垃圾收集器了. 一.三个概念 Stop-the-World:JVM执行任何一种GC算法时是会停止应用程序的执行的,所以大多数GC优化都是从减少Stop-th ...
- selenium常用方法,简版介绍
WebElement 接口共计16个------------接口 代表一个HTML元素.通常,所有与页面交互有关的有趣操作都将通过此界面执行. void clear() void click() We ...