背景：根据业务需要需要把60张主子表批量入库到hive表。

创建测试数据：

   def createBatchTestFile(): Unit = {

     for (layer <-  to ) {

       val sWriter = new PrintWriter(new File("D:\\server_" + layer + ".txt"))

       val nWriter = new PrintWriter(new File("D:\\neighour_" + layer + ".txt"))

       sWriter.write(layer + "," + "server_" + layer)

       nWriter.write(layer + "," + "neighour_" + layer)

       sWriter.close()

       nWriter.close()

     }

   }

上传数据到服务器hdfs:

 [hadoop@vd01 fglib]$ ls

 neighour_0.txt   neighour_20.txt  neighour_31.txt  neighour_42.txt  neighour_53.txt  server_0.txt   server_20.txt  server_31.txt  server_42.txt  server_53.txt

 neighour_10.txt  neighour_21.txt  neighour_32.txt  neighour_43.txt  neighour_54.txt  server_10.txt  server_21.txt  server_32.txt  server_43.txt  server_54.txt

 neighour_11.txt  neighour_22.txt  neighour_33.txt  neighour_44.txt  neighour_55.txt  server_11.txt  server_22.txt  server_33.txt  server_44.txt  server_55.txt

 neighour_12.txt  neighour_23.txt  neighour_34.txt  neighour_45.txt  neighour_56.txt  server_12.txt  server_23.txt  server_34.txt  server_45.txt  server_56.txt

 neighour_13.txt  neighour_24.txt  neighour_35.txt  neighour_46.txt  neighour_57.txt  server_13.txt  server_24.txt  server_35.txt  server_46.txt  server_57.txt

 neighour_14.txt  neighour_25.txt  neighour_36.txt  neighour_47.txt  neighour_58.txt  server_14.txt  server_25.txt  server_36.txt  server_47.txt  server_58.txt

 neighour_15.txt  neighour_26.txt  neighour_37.txt  neighour_48.txt  neighour_59.txt  server_15.txt  server_26.txt  server_37.txt  server_48.txt  server_59.txt

 neighour_16.txt  neighour_27.txt  neighour_38.txt  neighour_49.txt  neighour_5.txt   server_16.txt  server_27.txt  server_38.txt  server_49.txt  server_5.txt

 neighour_17.txt  neighour_28.txt  neighour_39.txt  neighour_4.txt   neighour_6.txt   server_17.txt  server_28.txt  server_39.txt  server_4.txt   server_6.txt

 neighour_18.txt  neighour_29.txt  neighour_3.txt   neighour_50.txt  neighour_7.txt   server_18.txt  server_29.txt  server_3.txt   server_50.txt  server_7.txt

 neighour_19.txt  neighour_2.txt   neighour_40.txt  neighour_51.txt  neighour_8.txt   server_19.txt  server_2.txt   server_40.txt  server_51.txt  server_8.txt

 neighour_1.txt   neighour_30.txt  neighour_41.txt  neighour_52.txt  neighour_9.txt   server_1.txt   server_30.txt  server_41.txt  server_52.txt  server_9.txt

 [hadoop@vd01 fglib]$ hadoop fs -mkdir /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ hadoop fs -copyFromLocal * /user/hive_user/dang/fglib/

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ 

 [hadoop@vd01 fglib]$ hadoop fs -ls /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 Found  items

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_9.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_9.txt

实现批量创建表及批量入库：

 val conf = new SparkConf().setAppName("My_Test")

     //.setMaster("local[1]").setMaster("spark://xx.xx.xx.xx:7077").setJars(List("xxx.jar")).set("spark.executor.memory", "10g")

     val sc = new SparkContext(conf)

     val hiveContext = new HiveContext(sc)

     // use my_hive_db;

     hiveContext.sql("use my_hive_db")

     import hiveContext.implicits._

     hiveContext.setConf("mapred.max.split.size", "")

     hiveContext.setConf("mapred.min.split.size.per.node", "")

     hiveContext.setConf("mapred.min.split.size.per.rack", "")

     hiveContext.setConf("hive.input.format", "org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")

     hiveContext.setConf("hive.merge.mapfiles", "true")

     hiveContext.setConf("hive.merge.mapredfiles", "true")

     hiveContext.setConf("hive.merge.size.per.task", "")

     hiveContext.setConf("hive.merge.smallfiles.avgsize", "")

     hiveContext.setConf("hive.groupby.skewindata", "true")

 //    for (layer <- 0 to 59) {

 //      hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/server_" + layer + ".txt' into table bathServer_"+ layer )

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

 //    }

     sc.parallelize( to ).collect().foreach((layer)=>{

         hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/server_" + layer + ".txt' into table bathServer_"+ layer )

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

     })

     sc.stop()

   }

批量导入数据到hive表中：假设我有60张主子表如何批量创建导入数据的更多相关文章

  1. vlookup函数基本使用--如何将两个Excel表中的数据匹配；excel表中vlookup函数使用方法将一表引到另一表

    vlookup函数基本使用--如何将两个Excel表中的数据匹配:excel表中vlookup函数使用方法将一表引到另一表 一.将几个学生的籍贯匹配出来‘ 二.使用查找与引用函数 vlookup 三. ...

  2. Oracle中的自连接(self join)-当表中的某一个字段与这个表中另外字段的相关时，我们可能用到自连接。

    http://blog.163.com/wkyuyang_001/blog/static/10802122820091751049479/ 当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自 ...

  3. 将一个多表关联的条件查询中的多表通过 create select 转化成一张单表的sql、改为会话级别临时表 【我】

    将一个多表关联的条件查询中的多表通过 create   select  转化成一张单表的sql 将结果改为创建一个会话级别的临时表: -- 根据下面这两个sql CREATE TABLE revenu ...

  4. 一个表中的字段值用作另一个表的In查询条件

    Question表与Paper表 Paper表中字段QuestionIds存储的是Question表中字段Id的拼接后的值 如: 'f855eba1-b308-4bd7-a250-c071a0e1bd ...

  5. 主表a主表b 从表c中有ab两个表中各一个字段a1,b1 从表d中有ab两个表中各一个字段a2,b2

    a1和a2在a表中具有唯一性 b1和b2在b表中具有唯一性 现在需要连接c表和d表 需要分两步来做 1.先让c表join表a和表b select c.*,a.a2,b.b2 from c inner ...

  6. Oracle-更新字段-一张表的字段更新另一张的表的字段

    设备表ops_device_info中的终端号terminal_id值是以 'D'开头的字符串,而终端表ops__terminal_info中的终端号terminal_id是8位字符串, 它们之间是通 ...

  7. 用python库openpyxl操作excel,从源excel表中提取信息复制到目标excel表中

    现代生活中,我们很难不与excel表打交道,excel表有着易学易用的优点,只是当表中数据量很大,我们又需要从其他表册中复制粘贴一些数据(比如身份证号)的时候,我们会越来越倦怠,毕竟我们不是机器,没法 ...

  8. mysql一个表中多个字段对应另一个表的id如何查询？

    比如有如下2个表 a 和baaID b1ID b2ID b3ID1 1 3 52 2 4 6bbID bCon1 苹果2 香蕉3 国内4 国外5 出口6 进口其中a表中的b1ID,b2ID,b3ID都 ...

  9. 一个表中多个字段对应另一个表的ID（SQL查询）

    A数据表中多个字段对应B数据表的ID, 现在要把B表的其他字段一起查询出来 一.数据表: 1.SPEED_DETECTION_ROAD 它的 START_POINT_ID 和 END_POINT_ID ...

随机推荐

  1. PHP实现KMP算法

    KMP算法是一种比较高效的字符串匹配算法,关于其讲解,可参考文章 字符串匹配的KMP算法,本文只给出具体的PHP代码实现. /** * @desc构建next数组 * @param string $s ...

  2. JS面向对象与面向过程

    前言 面向对象编程: 就是将你的需求抽象成一个对象,然后针对这个对象分析其特征(属性)与动作(方法)--这个对象就称之为类 面向过程编程: 特点:封装,就是将你需要的功能放在一个对象里面 ------ ...

  3. /etc/nginx/nginx.conf配置文件详解

    user nginx; #数值和cpu核数个数一致worker_processes 8; #worker与cpu绑定 worker_cpu_affinity 0001 0010 0100 1000 1 ...

  4. 启动tomcat时jmx port被占用

    一.问题描述 今天一来公司,在IntelliJ IDEA 中启动Tomcat服务器时就出现了如下图所示的错误: 错误: 代理抛出异常错误: java.rmi.server.ExportExceptio ...

  5. Linux下的/etc/hosts文件

    在Unix系统下面有一个/etc/hosts文件,在我的Mac上,这个文件的内容如下: ## # Host Database # # localhost is used to configure th ...

  6. 03-第一个脚本程序以及输入输出_Python编程之路

    上节课已经教大家安装了Python的解释器,那么这节课我们就可以正式来写代码了 说明:在下面的代码演示中,我将大部分使用python交互器演示代码的输入输出,注意">>>& ...

  7. hibernate框架学习笔记11：Criteria查询详解

    创建实体类对象: package domain; import java.util.HashSet; import java.util.Set; //客户实体 public class Custome ...

  8. 听翁恺老师mooc笔记（3）--指针的定义

    在上一个blog学习了&运算符,使用&取了变量.数组等地址,有什么用那?如果能够将取得的变量的地址传递给函数,能否通过这个地址在函数内访问到外部这个变量?答案是肯定的,scanf(&q ...

  9. 网络1711-1712班 c 语言评分总表一览

    学号 姓名 作业地址 PTA实验作业5分 PTA排名2分 阅读代码2分 总结1分 代码规范扣分-2--0 总分 是否推荐博客 1 **莹 http://www.cnblogs.com/wwwwxy12 ...

  10. C语言第六周博客作业--数据类型

    一.PTA实验作业 题目1: 7-6 掉入陷阱的数字 1. 本题PTA提交列表 2.设计思路 定义变量N,i,g=1表示位数,a表示各位数字相加的和,b=0,j,N1,c,d用于储存N do{ for ...