背景:根据业务需要需要把60张主子表批量入库到hive表。

创建测试数据:

   def createBatchTestFile(): Unit = {
for (layer <- to ) {
val sWriter = new PrintWriter(new File("D:\\server_" + layer + ".txt"))
val nWriter = new PrintWriter(new File("D:\\neighour_" + layer + ".txt")) sWriter.write(layer + "," + "server_" + layer)
nWriter.write(layer + "," + "neighour_" + layer) sWriter.close()
nWriter.close()
}
}

上传数据到服务器hdfs:

 [hadoop@vd01 fglib]$ ls
neighour_0.txt neighour_20.txt neighour_31.txt neighour_42.txt neighour_53.txt server_0.txt server_20.txt server_31.txt server_42.txt server_53.txt
neighour_10.txt neighour_21.txt neighour_32.txt neighour_43.txt neighour_54.txt server_10.txt server_21.txt server_32.txt server_43.txt server_54.txt
neighour_11.txt neighour_22.txt neighour_33.txt neighour_44.txt neighour_55.txt server_11.txt server_22.txt server_33.txt server_44.txt server_55.txt
neighour_12.txt neighour_23.txt neighour_34.txt neighour_45.txt neighour_56.txt server_12.txt server_23.txt server_34.txt server_45.txt server_56.txt
neighour_13.txt neighour_24.txt neighour_35.txt neighour_46.txt neighour_57.txt server_13.txt server_24.txt server_35.txt server_46.txt server_57.txt
neighour_14.txt neighour_25.txt neighour_36.txt neighour_47.txt neighour_58.txt server_14.txt server_25.txt server_36.txt server_47.txt server_58.txt
neighour_15.txt neighour_26.txt neighour_37.txt neighour_48.txt neighour_59.txt server_15.txt server_26.txt server_37.txt server_48.txt server_59.txt
neighour_16.txt neighour_27.txt neighour_38.txt neighour_49.txt neighour_5.txt server_16.txt server_27.txt server_38.txt server_49.txt server_5.txt
neighour_17.txt neighour_28.txt neighour_39.txt neighour_4.txt neighour_6.txt server_17.txt server_28.txt server_39.txt server_4.txt server_6.txt
neighour_18.txt neighour_29.txt neighour_3.txt neighour_50.txt neighour_7.txt server_18.txt server_29.txt server_3.txt server_50.txt server_7.txt
neighour_19.txt neighour_2.txt neighour_40.txt neighour_51.txt neighour_8.txt server_19.txt server_2.txt server_40.txt server_51.txt server_8.txt
neighour_1.txt neighour_30.txt neighour_41.txt neighour_52.txt neighour_9.txt server_1.txt server_30.txt server_41.txt server_52.txt server_9.txt
[hadoop@vd01 fglib]$ hadoop fs -mkdir /user/hive_user/dang/fglib
// :: INFO hdfs.PeerCache: SocketCache disabled.
[hadoop@vd01 fglib]$ hadoop fs -copyFromLocal * /user/hive_user/dang/fglib/
// :: INFO hdfs.PeerCache: SocketCache disabled.
[hadoop@vd01 fglib]$ [hadoop@vd01 fglib]$ hadoop fs -ls /user/hive_user/dang/fglib
// :: INFO hdfs.PeerCache: SocketCache disabled.
Found items
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_0.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_1.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_10.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_11.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_12.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_13.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_14.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_15.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_16.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_17.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_18.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_19.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_2.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_20.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_21.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_22.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_23.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_24.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_25.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_26.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_27.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_28.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_29.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_3.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_30.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_31.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_32.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_33.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_34.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_35.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_36.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_37.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_38.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_39.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_4.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_40.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_41.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_42.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_43.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_44.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_45.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_46.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_47.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_48.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_49.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_5.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_50.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_51.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_52.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_53.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_54.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_55.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_56.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_57.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_58.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_59.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_6.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_7.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_8.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_9.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_0.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_1.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_10.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_11.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_12.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_13.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_14.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_15.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_16.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_17.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_18.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_19.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_2.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_20.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_21.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_22.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_23.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_24.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_25.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_26.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_27.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_28.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_29.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_3.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_30.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_31.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_32.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_33.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_34.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_35.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_36.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_37.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_38.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_39.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_4.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_40.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_41.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_42.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_43.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_44.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_45.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_46.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_47.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_48.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_49.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_5.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_50.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_51.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_52.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_53.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_54.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_55.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_56.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_57.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_58.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_59.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_6.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_7.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_8.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_9.txt

实现批量创建表及批量入库:

 val conf = new SparkConf().setAppName("My_Test")
//.setMaster("local[1]").setMaster("spark://xx.xx.xx.xx:7077").setJars(List("xxx.jar")).set("spark.executor.memory", "10g")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
// use my_hive_db;
hiveContext.sql("use my_hive_db") import hiveContext.implicits._ hiveContext.setConf("mapred.max.split.size", "")
hiveContext.setConf("mapred.min.split.size.per.node", "")
hiveContext.setConf("mapred.min.split.size.per.rack", "")
hiveContext.setConf("hive.input.format", "org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")
hiveContext.setConf("hive.merge.mapfiles", "true")
hiveContext.setConf("hive.merge.mapredfiles", "true")
hiveContext.setConf("hive.merge.size.per.task", "")
hiveContext.setConf("hive.merge.smallfiles.avgsize", "")
hiveContext.setConf("hive.groupby.skewindata", "true") // for (layer <- 0 to 59) {
// hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
// hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
// hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/server_" + layer + ".txt' into table bathServer_"+ layer )
// hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )
// } sc.parallelize( to ).collect().foreach((layer)=>{
hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/server_" + layer + ".txt' into table bathServer_"+ layer )
hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )
}) sc.stop()
}

批量导入数据到hive表中:假设我有60张主子表如何批量创建导入数据的更多相关文章

  1. vlookup函数基本使用--如何将两个Excel表中的数据匹配;excel表中vlookup函数使用方法将一表引到另一表

    vlookup函数基本使用--如何将两个Excel表中的数据匹配:excel表中vlookup函数使用方法将一表引到另一表 一.将几个学生的籍贯匹配出来‘ 二.使用查找与引用函数 vlookup 三. ...

  2. Oracle中的自连接(self join)-当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自连接。

    http://blog.163.com/wkyuyang_001/blog/static/10802122820091751049479/ 当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自 ...

  3. 将一个多表关联的条件查询中的多表通过 create select 转化成一张单表的sql、改为会话级别临时表 【我】

    将一个多表关联的条件查询中的多表通过 create   select  转化成一张单表的sql 将结果改为创建一个会话级别的临时表: -- 根据下面这两个sql CREATE TABLE revenu ...

  4. 一个表中的字段值用作另一个表的In查询条件

    Question表与Paper表 Paper表中字段QuestionIds存储的是Question表中字段Id的拼接后的值 如: 'f855eba1-b308-4bd7-a250-c071a0e1bd ...

  5. 主表a主表b 从表c中有ab两个表中各一个字段a1,b1 从表d中有ab两个表中各一个字段a2,b2

    a1和a2在a表中具有唯一性 b1和b2在b表中具有唯一性 现在需要连接c表和d表 需要分两步来做 1.先让c表join表a和表b select c.*,a.a2,b.b2 from c inner ...

  6. Oracle-更新字段-一张表的字段更新另一张的表的字段

    设备表ops_device_info中的终端号terminal_id值是以 'D'开头的字符串,而终端表ops__terminal_info中的终端号terminal_id是8位字符串, 它们之间是通 ...

  7. 用python库openpyxl操作excel,从源excel表中提取信息复制到目标excel表中

    现代生活中,我们很难不与excel表打交道,excel表有着易学易用的优点,只是当表中数据量很大,我们又需要从其他表册中复制粘贴一些数据(比如身份证号)的时候,我们会越来越倦怠,毕竟我们不是机器,没法 ...

  8. mysql一个表中多个字段对应另一个表的id如何查询?

    比如有如下2个表 a 和baaID b1ID b2ID b3ID1 1 3 52 2 4 6bbID bCon1 苹果2 香蕉3 国内4 国外5 出口6 进口其中a表中的b1ID,b2ID,b3ID都 ...

  9. 一个表中多个字段对应另一个表的ID(SQL查询)

    A数据表中多个字段对应B数据表的ID, 现在要把B表的其他字段一起查询出来 一.数据表: 1.SPEED_DETECTION_ROAD 它的 START_POINT_ID 和 END_POINT_ID ...

随机推荐

  1. python编程中的if __name__ == 'main与windows中使用多进程

    if __name__ == 'main 一个python的文件有两种使用的方法,第一是直接作为程序执行,第二是import到其他的python程序中被调用(模块重用)执行. 因此if __name_ ...

  2. 深入学习Redis(1):Redis内存模型

    前言 Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说Redis是实现网站高并发不可或缺的一部分. 我们使用Redis时,会接触Redis的5种对象类型(字符串 ...

  3. php中heredoc与nowdoc的使用方法

    一.heredoc结构及用法 Heredoc 结构就象是没有使用双引号的双引号字符串,这就是说在 heredoc 结构中单引号不用被转义.其结构中的变量将被替换,但在 heredoc 结构中含有复杂的 ...

  4. 2017年PHP程序员未来路在何方——韩天峰

    PHP 从诞生到现在已经有20多年历史,从Web时代兴起到移动互联网退潮,互联网领域各种编程语言和技术层出不穷, Node.js . GO . Python 不断地在挑战 PHP 的地位.这些技术的推 ...

  5. python替换残缺的多域名图片网址

    在获取网站真是图片的时候,经常遇到图片链接残缺问题. 例如下图所示的情况: img标签中的图片链接是残缺的,如果这个网站域名又是多种情况的话,比如 http://sports.online.sh.cn ...

  6. x64系统安装ODAC问题经验分享

    64bit系统安装ODAC经验分享 背景: 最近项目里面有用到 WCF+Entity Framework+oracle 这个架构用过的朋友应该都知道,Entity Framework要通过ODAC的方 ...

  7. 利用PCA降维

    参考:<机器学习实战>- Machine Learning in Action 一. 基本思想  PCA(Principal Component Analysis),主成分分析.是目前应用 ...

  8. Alpha冲刺第十一天

    Alpha冲刺第十一天 站立式会议 项目进展 项目进入尾声,主要测设工作完成过半,项目总结也开始进行. 问题困难 项目的困难现阶段主要是测试过程中存在一些"盲点"很难发现或者发现后 ...

  9. bzoj千题计划220:bzoj3938: Robot

    http://www.lydsy.com/JudgeOnline/problem.php?id=3938 以时间为x轴,以距离为y轴,那么每个机器人的行走路径就是一条折线 把折线分段加入线段树里,然后 ...

  10. 动手写IL到Lua的翻译器——准备

    文章里的代码粘过来的时候格式有点问题,原因是一开始文章是在订阅号上写的(gamedev101,文末有二维码),不知道为啥贴过来就没了格式,还要手动删行号,就没搞了. 介绍下问题背景: 小说君正在参与的 ...