背景:根据业务需要需要把60张主子表批量入库到hive表。

创建测试数据:

   def createBatchTestFile(): Unit = {
for (layer <- to ) {
val sWriter = new PrintWriter(new File("D:\\server_" + layer + ".txt"))
val nWriter = new PrintWriter(new File("D:\\neighour_" + layer + ".txt")) sWriter.write(layer + "," + "server_" + layer)
nWriter.write(layer + "," + "neighour_" + layer) sWriter.close()
nWriter.close()
}
}

上传数据到服务器hdfs:

 [hadoop@vd01 fglib]$ ls
neighour_0.txt neighour_20.txt neighour_31.txt neighour_42.txt neighour_53.txt server_0.txt server_20.txt server_31.txt server_42.txt server_53.txt
neighour_10.txt neighour_21.txt neighour_32.txt neighour_43.txt neighour_54.txt server_10.txt server_21.txt server_32.txt server_43.txt server_54.txt
neighour_11.txt neighour_22.txt neighour_33.txt neighour_44.txt neighour_55.txt server_11.txt server_22.txt server_33.txt server_44.txt server_55.txt
neighour_12.txt neighour_23.txt neighour_34.txt neighour_45.txt neighour_56.txt server_12.txt server_23.txt server_34.txt server_45.txt server_56.txt
neighour_13.txt neighour_24.txt neighour_35.txt neighour_46.txt neighour_57.txt server_13.txt server_24.txt server_35.txt server_46.txt server_57.txt
neighour_14.txt neighour_25.txt neighour_36.txt neighour_47.txt neighour_58.txt server_14.txt server_25.txt server_36.txt server_47.txt server_58.txt
neighour_15.txt neighour_26.txt neighour_37.txt neighour_48.txt neighour_59.txt server_15.txt server_26.txt server_37.txt server_48.txt server_59.txt
neighour_16.txt neighour_27.txt neighour_38.txt neighour_49.txt neighour_5.txt server_16.txt server_27.txt server_38.txt server_49.txt server_5.txt
neighour_17.txt neighour_28.txt neighour_39.txt neighour_4.txt neighour_6.txt server_17.txt server_28.txt server_39.txt server_4.txt server_6.txt
neighour_18.txt neighour_29.txt neighour_3.txt neighour_50.txt neighour_7.txt server_18.txt server_29.txt server_3.txt server_50.txt server_7.txt
neighour_19.txt neighour_2.txt neighour_40.txt neighour_51.txt neighour_8.txt server_19.txt server_2.txt server_40.txt server_51.txt server_8.txt
neighour_1.txt neighour_30.txt neighour_41.txt neighour_52.txt neighour_9.txt server_1.txt server_30.txt server_41.txt server_52.txt server_9.txt
[hadoop@vd01 fglib]$ hadoop fs -mkdir /user/hive_user/dang/fglib
// :: INFO hdfs.PeerCache: SocketCache disabled.
[hadoop@vd01 fglib]$ hadoop fs -copyFromLocal * /user/hive_user/dang/fglib/
// :: INFO hdfs.PeerCache: SocketCache disabled.
[hadoop@vd01 fglib]$ [hadoop@vd01 fglib]$ hadoop fs -ls /user/hive_user/dang/fglib
// :: INFO hdfs.PeerCache: SocketCache disabled.
Found items
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_0.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_1.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_10.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_11.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_12.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_13.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_14.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_15.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_16.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_17.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_18.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_19.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_2.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_20.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_21.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_22.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_23.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_24.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_25.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_26.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_27.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_28.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_29.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_3.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_30.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_31.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_32.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_33.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_34.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_35.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_36.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_37.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_38.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_39.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_4.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_40.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_41.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_42.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_43.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_44.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_45.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_46.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_47.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_48.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_49.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_5.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_50.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_51.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_52.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_53.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_54.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_55.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_56.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_57.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_58.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_59.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_6.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_7.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_8.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/neighour_9.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_0.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_1.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_10.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_11.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_12.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_13.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_14.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_15.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_16.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_17.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_18.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_19.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_2.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_20.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_21.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_22.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_23.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_24.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_25.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_26.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_27.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_28.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_29.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_3.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_30.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_31.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_32.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_33.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_34.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_35.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_36.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_37.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_38.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_39.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_4.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_40.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_41.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_42.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_43.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_44.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_45.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_46.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_47.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_48.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_49.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_5.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_50.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_51.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_52.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_53.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_54.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_55.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_56.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_57.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_58.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_59.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_6.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_7.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_8.txt
-rw-r--r--+ hive_user hadoop -- : /user/hive_user/dang/fglib/server_9.txt

实现批量创建表及批量入库:

 val conf = new SparkConf().setAppName("My_Test")
//.setMaster("local[1]").setMaster("spark://xx.xx.xx.xx:7077").setJars(List("xxx.jar")).set("spark.executor.memory", "10g")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
// use my_hive_db;
hiveContext.sql("use my_hive_db") import hiveContext.implicits._ hiveContext.setConf("mapred.max.split.size", "")
hiveContext.setConf("mapred.min.split.size.per.node", "")
hiveContext.setConf("mapred.min.split.size.per.rack", "")
hiveContext.setConf("hive.input.format", "org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")
hiveContext.setConf("hive.merge.mapfiles", "true")
hiveContext.setConf("hive.merge.mapredfiles", "true")
hiveContext.setConf("hive.merge.size.per.task", "")
hiveContext.setConf("hive.merge.smallfiles.avgsize", "")
hiveContext.setConf("hive.groupby.skewindata", "true") // for (layer <- 0 to 59) {
// hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
// hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
// hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/server_" + layer + ".txt' into table bathServer_"+ layer )
// hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )
// } sc.parallelize( to ).collect().foreach((layer)=>{
hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")
hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/server_" + layer + ".txt' into table bathServer_"+ layer )
hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )
}) sc.stop()
}

批量导入数据到hive表中:假设我有60张主子表如何批量创建导入数据的更多相关文章

  1. vlookup函数基本使用--如何将两个Excel表中的数据匹配;excel表中vlookup函数使用方法将一表引到另一表

    vlookup函数基本使用--如何将两个Excel表中的数据匹配:excel表中vlookup函数使用方法将一表引到另一表 一.将几个学生的籍贯匹配出来‘ 二.使用查找与引用函数 vlookup 三. ...

  2. Oracle中的自连接(self join)-当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自连接。

    http://blog.163.com/wkyuyang_001/blog/static/10802122820091751049479/ 当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自 ...

  3. 将一个多表关联的条件查询中的多表通过 create select 转化成一张单表的sql、改为会话级别临时表 【我】

    将一个多表关联的条件查询中的多表通过 create   select  转化成一张单表的sql 将结果改为创建一个会话级别的临时表: -- 根据下面这两个sql CREATE TABLE revenu ...

  4. 一个表中的字段值用作另一个表的In查询条件

    Question表与Paper表 Paper表中字段QuestionIds存储的是Question表中字段Id的拼接后的值 如: 'f855eba1-b308-4bd7-a250-c071a0e1bd ...

  5. 主表a主表b 从表c中有ab两个表中各一个字段a1,b1 从表d中有ab两个表中各一个字段a2,b2

    a1和a2在a表中具有唯一性 b1和b2在b表中具有唯一性 现在需要连接c表和d表 需要分两步来做 1.先让c表join表a和表b select c.*,a.a2,b.b2 from c inner ...

  6. Oracle-更新字段-一张表的字段更新另一张的表的字段

    设备表ops_device_info中的终端号terminal_id值是以 'D'开头的字符串,而终端表ops__terminal_info中的终端号terminal_id是8位字符串, 它们之间是通 ...

  7. 用python库openpyxl操作excel,从源excel表中提取信息复制到目标excel表中

    现代生活中,我们很难不与excel表打交道,excel表有着易学易用的优点,只是当表中数据量很大,我们又需要从其他表册中复制粘贴一些数据(比如身份证号)的时候,我们会越来越倦怠,毕竟我们不是机器,没法 ...

  8. mysql一个表中多个字段对应另一个表的id如何查询?

    比如有如下2个表 a 和baaID b1ID b2ID b3ID1 1 3 52 2 4 6bbID bCon1 苹果2 香蕉3 国内4 国外5 出口6 进口其中a表中的b1ID,b2ID,b3ID都 ...

  9. 一个表中多个字段对应另一个表的ID(SQL查询)

    A数据表中多个字段对应B数据表的ID, 现在要把B表的其他字段一起查询出来 一.数据表: 1.SPEED_DETECTION_ROAD 它的 START_POINT_ID 和 END_POINT_ID ...

随机推荐

  1. python编程中的if __name__ == 'main与windows中使用多进程

    if __name__ == 'main 一个python的文件有两种使用的方法,第一是直接作为程序执行,第二是import到其他的python程序中被调用(模块重用)执行. 因此if __name_ ...

  2. SIMD---SSE系列及效率对比

    SSE(即Streaming SIMD Extension),是对由MMX指令集引进的SIMD模型的扩展.我们知道MMX有两个明显的缺点: 只能操作整数. 不能与浮点数同时运行(MMX使用FPU寄存器 ...

  3. 基于TODO的开发方法

    之前买了一本书,叫<架构探险-从零开始写Java Web框架 >(不推荐购买-),一本标题党书籍!但是我很推崇作者写代码的方式,就是基于TODO的方式进行开发! 个人认为以基于TODO的方 ...

  4. 【Bootstrap】bootstrap-datetimepicker日期时间插件

    [bootstrap-datetimepicker] datetimepicker是一个比较方便的日期时间插件.有了这个之后,我们可以在类似于表单的地方提供一个友好的日期(时间)输入功能.官方文档:[ ...

  5. Java 并发编程实践基础 读书笔记: 第二章 构建线程安全应用程序

    1,什么是线程安全性? 简单概括就是一个类在多线程情况下能安全调用就是线程安全 2,Servlet  的线程安全性  默认是非线程安全的,写servlet代码的时候需要注意线程安全,注意同步 3,vo ...

  6. @Cacheable的实现原理

    如果你用过Spring Cache,你一定对这种配置和代码不陌生: <cache:annotation-driven cache-manager="cacheManager" ...

  7. linux特殊字符及其作用

    1.通配符    ? 匹配单个字符    * 代表所有字符     [abcd] 匹配[]里任意一个字符.4选1 [a-d]    [!abcd]  匹配不含[]里任意一个字符的字符.[^abcd] ...

  8. C语言第六周博客作业--数据类型

    一.PTA实验作业 题目1: 7-6 掉入陷阱的数字 1. 本题PTA提交列表 2.设计思路 定义变量N,i,g=1表示位数,a表示各位数字相加的和,b=0,j,N1,c,d用于储存N do{ for ...

  9. 第六次作业:Alpha阶段综合报告(Java-Team)

    团队:Java-Team 成员: 章辉宇(284) 吴政楠(286) 陈阳(PM:288) 韩华颂(142) 胡志权(143) github地址:https://github.com/WHUSE201 ...

  10. 敏捷冲刺每日报告一(Java-Team)

    第一天报告(10.25  周三) 团队:Java-Team 成员: 章辉宇(284) 吴政楠(286) 陈阳(PM:288) 韩华颂(142) 胡志权(143) github地址:https://gi ...