利用MySQL原数据信息批量转换指定库数据表生成Hive建表语句
1.写出文件工具类
package ccc.utile; import java.io.*; /**
* @author ccc
* @version 1.0.0
* @ClassName WriteToFileExample.java
* @Description TODO IO流
* @ProjectName ccc
* @createTime 2021年08月07日 18:32:00
*/
public class WriteToFileExample {
/**
* 追加写入数据到指定文件
*
* @param str
* @param path
*/
public void writeFileSQL(String str, String path) {
FileWriter fw = null;
try {
File f = new File(path);
fw = new FileWriter(f, true);
} catch (IOException e) {
e.printStackTrace();
}
PrintWriter pw = new PrintWriter(fw);
pw.println(str);
pw.flush();
try {
fw.flush();
pw.close();
fw.close();
} catch (IOException e) {
e.printStackTrace();
}
} /**
* 清空文件内容
*
* @param fileName
*/
public void clearInfoForFile(String fileName) {
File file = new File(fileName);
try {
if (!file.exists()) {
file.createNewFile();
}
FileWriter fileWriter = new FileWriter(file);
fileWriter.write("");
fileWriter.flush();
fileWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
} }
2.jdbc工具类:
package ccc.utile; import java.sql.*;
import java.util.Map; /**
* @author ccc
* @version 1.0.0
* @ClassName JDBCMySQL.java
* @Description TODO MySQLJDBC链接
* @ProjectName ccc
* @createTime 2021年08月06日 14:19:00
*/
public class JDBCJAVAMySQL {
public static Connection getConnection() {
//定义Connection对象
Connection conn = null;
try {
Class.forName("com.mysql.jdbc.Driver");// conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/", "root", "123456");
} catch (Exception e) {
e.printStackTrace();
}
return conn;
} private static void connection(Connection connection) {
if (connection != null) {
try {
connection.close();
} catch (SQLException throwables) {
throwables.printStackTrace();
}
}
} private static void resultSet(ResultSet resultSet) {
if (resultSet != null) {
try {
resultSet.close();
} catch (SQLException throwables) {
throwables.printStackTrace();
}
}
} private static void preparedStatement(PreparedStatement preparedStatement) {
if (preparedStatement != null) {
try {
preparedStatement.close();
} catch (SQLException throwables) {
throwables.printStackTrace();
}
}
} /*
* @Description TODO 关闭连接
* @Date 2021/7/21 22:42
* @param
* @return
*/
public static void close(Connection connection, ResultSet resultSet, PreparedStatement preparedStatement) {
connection(connection);
resultSet(resultSet);
preparedStatement(preparedStatement);
}
}
3.表属性实体类:
package ccc.enty; /**
* @author ccc
* @version 1.0.0
* @ClassName TableSchema.java
* @Description TODO
* @ProjectName ccc
* @createTime 2021年08月06日 14:58:00
*/
public class TableSchema {
private String table_name;
private String table_comment; public String getTable_name() {
return table_name;
} public void setTable_name(String table_name) {
this.table_name = table_name;
} public String getTable_comment() {
return table_comment;
} public void setTable_comment(String table_comment) {
this.table_comment = table_comment;
} @Override
public String toString() {
return "TableSchema{" +
"table_name='" + table_name + '\'' +
", table_comment='" + table_comment + '\'' +
'}';
}
}
4.表结构实体类:
package ccc.enty; /**
* @author ccc
* @version 1.0.0
* @ClassName ColumnSchema.java
* @Description TODO
* @ProjectName ccc
* @createTime 2021年08月06日 14:59:00
*/
public class ColumnSchema {
private String column_name;
private String column_comment;
private String column_type; public String getColumn_name() {
return column_name;
} public void setColumn_name(String column_name) {
this.column_name = column_name;
} public String getColumn_comment() {
return column_comment;
} public void setColumn_comment(String column_comment) {
this.column_comment = column_comment;
} public String getColumn_type() {
return column_type;
} public void setColumn_type(String column_type) {
this.column_type = column_type;
} @Override
public String toString() {
return "ColumnSchema{" +
"column_name='" + column_name + '\'' +
", column_comment='" + column_comment + '\'' +
", column_type='" + column_type + '\'' +
'}';
}
}
5.启动类:
package ccc.contorller; import ccc.enty.ColumnSchema;
import ccc.enty.TableSchema;
import ccc.utile.JDBCJAVAMySQL;
import ccc.utile.WriteToFileExample; import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List; /** 需关闭连接
* @author ccc
* @version 1.0.0
* @ClassName BatchMySQL2HIVE.java
* @Description TODO 通过MySQL原数据信息,生成HIVE建表语句
* @ProjectName ccc
* @createTime 2021年08月06日 14:52:00
*/
public class BatchMySQL2HIVE { /**
* 获取表信息
*
* @return
*/
public static List<TableSchema> getTable_schema(String databases) {
List<TableSchema> list = new ArrayList<TableSchema>();
String sql = "SELECT a.table_name,a.table_comment FROM information_schema.`TABLES` a where a.table_schema=" + "\"" + databases + "\"";
PreparedStatement ps = null;
ResultSet resultSet = null;
Connection connection = JDBCJAVAMySQL.getConnection();
try {
ps = connection.prepareStatement(sql);
resultSet = ps.executeQuery();
while (resultSet.next()) {
TableSchema a = new TableSchema();
a.setTable_name(resultSet.getString("table_name"));
a.setTable_comment(resultSet.getString("table_comment"));
list.add(a);
}
} catch (SQLException throwables) {
throwables.printStackTrace();
} finally {
JDBCJAVAMySQL.close(connection, resultSet, ps);
}
return list;
} /**
* 获取表结构信息
*
* @return
*/
public static List<ColumnSchema> getColumn_schema(String database, String table_name) {
List<ColumnSchema> list = new ArrayList<ColumnSchema>();
String c = "SELECT a.column_name,a.column_comment,a.data_type FROM information_schema.`COLUMNS` a where a.table_schema=" + "\"" + database + "\" ";
String b = " and a.table_name=" + "\"" + table_name + "\"";
String sql = c + b;
System.out.println(sql);
Connection connection = JDBCJAVAMySQL.getConnection();
PreparedStatement ps = null;
ResultSet resultSet = null;
try {
ps = connection.prepareStatement(sql);
resultSet = ps.executeQuery();
while (resultSet.next()) {
ColumnSchema a = new ColumnSchema();
a.setColumn_comment(resultSet.getString("column_comment"));
a.setColumn_name(resultSet.getString("column_name"));
a.setColumn_type(resultSet.getString("data_type"));
list.add(a);
}
} catch (SQLException throwables) {
throwables.printStackTrace();
}
return list;
} /**
* 生成表结构
*
* @param j
* @return
*/
public static String createTable(String database, int j) {
StringBuffer sb = new StringBuffer();
List<TableSchema> table_schema = getTable_schema(database);
List<ColumnSchema> column_schema = getColumn_schema(database, table_schema.get(j).getTable_name());
sb.append("--" + getTable_comment(table_schema.get(j).getTable_comment(), table_schema.get(j).getTable_name()) + ":" + table_schema.get(j).getTable_name() + "\n");
sb.append("CREATE TABLE IF NOT EXISTS " + table_schema.get(j).getTable_name() + "(" + "\n");
int f = 0;
for (int i = 0; i < column_schema.size(); i++) {
//判断是否是最后一个字段,如果是则不加都号
if (f == column_schema.size() - 1) {
sb.append(" " + tranColumn2xx(column_schema.get(i).getColumn_name()) + " " + getColumn_type(column_schema.get(i).getColumn_type()) + " COMMENT " + getColumn_Comment(column_schema.get(i).getColumn_comment()) + "\n");
} else {
sb.append(" " + tranColumn2xx(column_schema.get(i).getColumn_name()) + " " + getColumn_type(column_schema.get(i).getColumn_type()) + " COMMENT " + getColumn_Comment(column_schema.get(i).getColumn_comment()) + "," + "\n");
}
f++;
}
sb.append(") COMMENT " + "\"" + getTable_comment(table_schema.get(j).getTable_comment(), table_schema.get(j).getTable_name()) + "\"" + ";" + "\n");
return sb.toString();
} /**
* 填充字段注释
*
* @param comment
* @return
*/
public static String getColumn_Comment(String comment) {
if (comment == null || comment.equals("")) {
return "\"\"";
} else {
return "\"" + comment + "\"";
}
} /**
* 填充表注释
*
* @param comment
* @param table_name
* @return
*/
public static String getTable_comment(String comment, String table_name) {
if (comment == null || comment.equals("")) {
return table_name;
} else {
return comment;
}
} /**
* 匹配类型
*
* @param column_type
* @return
*/
public static String getColumn_type(String column_type) {
if ("int".equals(column_type)) {
return "BIGINT";
} else if ("tinyint".equals(column_type)) {
return "BIGINT";
} else if ("bigint".equals(column_type)) {
return "BIGINT";
} else if ("smallint".equals(column_type)) {
return "BIGINT";
} else if ("mediumint".equals(column_type)) {
return "BIGINT";
} else if ("float".equals(column_type)) {
return "DOUBLE";
} else if ("double".equals(column_type)) {
return "DOUBLE";
} else if ("decimal".equals(column_type)) {
return "STRING";
} else if ("numeric".equals(column_type)) {
return "STRING";
} else if ("bit".equals(column_type)) {
return "STRING";
} else if ("char".equals(column_type)) {
return "STRING";
} else if ("varchar".equals(column_type)) {
return "STRING";
} else if ("blob".equals(column_type)) {
return "STRING";
} else if ("mediumblob".equals(column_type)) {
return "STRING";
} else if ("longblob".equals(column_type)) {
return "STRING";
} else if ("tinytext".equals(column_type)) {
return "STRING";
} else if ("mediumtext".equals(column_type)) {
return "STRING";
} else if ("longtext".equals(column_type)) {
return "STRING";
} else if ("binary".equals(column_type)) {
return "STRING";
} else if ("varbinary".equals(column_type)) {
return "STRING";
} else if ("time".equals(column_type)) {
return "STRING";
} else if ("datetime".equals(column_type)) {
return "STRING";
} else if ("timestemp".equals(column_type)) {
return "STRING";
} else if ("year".equals(column_type)) {
return "STRING";
} else if ("date".equals(column_type)) {
return "STRING";
} else if ("text".equals(column_type)) {
return "STRING";
}else if ("longtext".equals(column_type)) {
return "STRING";
} else {
return "STRING";
}
} /**
* 字段转小写
*
* @param column_name 传入原始字段
* @return 返回转换字段
*/
public static String tranColumn2xx(String column_name) {
return column_name.toLowerCase();
} /**
* 批量启动
*
* @param database 数据库名称
* @param path 写入文件路径
*/
public static void start(String database, String path) {
List<TableSchema> table_schema = getTable_schema(database);
WriteToFileExample writeToFileExample = new WriteToFileExample();
writeToFileExample.clearInfoForFile(path);
int f = 0;
for (int i = 0; i < table_schema.size(); i++) {
String table = createTable(database, i);
System.out.println(table);
writeToFileExample.writeFileSQL(table, path);
f++;
}
System.out.println("共记录:" + f + "条数据!");
} public static void main(String[] args) {
start("CCC", "mysql2HIVE.sql");
}
}
利用MySQL原数据信息批量转换指定库数据表生成Hive建表语句的更多相关文章
- mysql根据查询结果批量更新多条数据(插入或更新)
mysql根据查询结果批量更新多条数据(插入或更新) 1.1 前言 mysql根据查询结果执行批量更新或插入时经常会遇到1093的错误问题.基本上批量插入或新增都会涉及到子查询,mysql是建议不要对 ...
- MySQL的表分区详解 - 查看分区数据量,查看全库数据量----转http://blog.csdn.net/xj626852095/article/details/51245844
查看分区数据量,查看全库数据量 USE information_schema; SELECT PARTITION_NAME,TABLE_ROWS FROM INFORMATION_SCHEMA.PAR ...
- Mysql元数据生成Hive建表语句注释脚本
在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时,需要同步mysql表中的注释,以下脚本可以生成hive表字段注释修改语句. 注:其他关系型数据库如:oracle 可以通过相同的思路, ...
- [Hive_3] Hive 建表指定分隔符
0. 说明 Hive 建表示例及指定分隔符 1. Hive 建表 Demo 在 Hive 中输入以下命令创建表 user2 create table users2 (id int, name stri ...
- hive建表没使用LZO存储格式,可是数据是LZO格式时遇到的问题
今天微博大数据平台发邮件来说.他们有一个hql执行失败.可是从gateway上面的日志看不出来是什么原因导致的,我帮忙看了一下.最后找到了问题的解决办法,下面是分析过程: 1.执行失败的hql: IN ...
- hive建表与数据的导入导出
建表: create EXTERNAL table tabtext(IMSI string,MDN string,MEID string,NAI string,DestinationIP string ...
- ABAP 动态备份自建表数据到新表(自建表有数据的情况下要改字段长度或者其他)
当abaper开发好一个程序给用户使用一段时间后,发现某个字段的长度需要修改,但数据库表中已经存在很多数据,冒然直接改表字段可能会导致数据丢失,这种问题的后果可能非常严重. 所以我想到先复制出一个新表 ...
- mysql存储过程命令行批量插入N条数据命令
原文:http://blog.csdn.net/tomcat_2014/article/details/53377924 delimiter $$ create procedure myproc () ...
- SqlServer与MySql 系统表查询自建表数据
SqlServer: SELECT * FROM sys.sysobjects WHERE type='U' ORDER BY name SELECT * FROM sys.syscolumns WH ...
随机推荐
- 10.ODBC创建/读取Excel QT4
看到一篇MFC的参考链接:https://blog.csdn.net/u012319493/article/details/50561046 改用QT的函数即可 创建Excel //创建Excel v ...
- 解决WebStorm开发vue提示Module is not installed、Unresolved variable or type
WebStorme2021.1版本: Setting->Languages->JavaScript->Webpack由原先的disable选为Automatically即可(右下角弹 ...
- 寻找无序数组中的前k大元素
题目描述 以尽可能小的代价返回某无序系列中的两个最大值,当有重复的时设置某种机制进行选择. 题解 首先要考虑的是重复的数的问题. A.不处理重复数据方法:在处理第k大的元素时不处理重复的数据,也就是将 ...
- AcWing 239. 奇偶游戏
小A和小B在玩一个游戏. 首先,小A写了一个由0和1组成的序列S,长度为N. 然后,小B向小A提出了M个问题. 在每个问题中,小B指定两个数 l 和 r,小A回答 S[l~r] 中有奇数个1还是偶数个 ...
- 【面试】详解同步/异步/阻塞/非阻塞/IO含义与案例
本文详解同步.异步.阻塞.非阻塞,以及IO与这四者的关联,毕竟我当初刚认识这几个名词的时候也是一脸懵. 目录 1.同步阻塞.同步非阻塞.异步阻塞.异步非阻塞 1.同步 2.异步 3.阻塞 4.非阻塞 ...
- redis的基本操作指令
https://www.cnblogs.com/woshimrf/p/5198361.html
- ESP-IDF硬件设计相关知识
1.更新ESP-IDF:直接删除您本地的 esp-idf 文件夹,然后克隆新版本:更新完成后,请执行 install.sh (Windows 系统中为 install.bat)脚本,避免新版 ESP- ...
- ESP32-http client笔记
基于ESP-IDF4.1 #include <string.h> #include <stdlib.h> #include "freertos/FreeRTOS.h& ...
- Linux | 压缩与解压详解
tar tar 命令用于对文件进行打包压缩或解压,格式: tar [选项][文件] tar命令的参数及其作用 参数 作用 -c 创建压缩文件 -x 解开压缩文件 -t 查看压缩包内有哪些文件 -z 用 ...
- ctf杂项之easy_nbt
下载附件查看 除了几个文件之外,没有思路 搜索nbt可知,可以使用nbtexplorer工具 果断下载,然后打开题目下载的目录 crrl+f搜索flag 猜测kflag{Do_u_kN0w_nbt?} ...