背景：根据业务需要需要把60张主子表批量入库到hive表。

创建测试数据：

   def createBatchTestFile(): Unit = {

     for (layer <-  to ) {

       val sWriter = new PrintWriter(new File("D:\\server_" + layer + ".txt"))

       val nWriter = new PrintWriter(new File("D:\\neighour_" + layer + ".txt"))

       sWriter.write(layer + "," + "server_" + layer)

       nWriter.write(layer + "," + "neighour_" + layer)

       sWriter.close()

       nWriter.close()

     }

   }

上传数据到服务器hdfs:

 [hadoop@vd01 fglib]$ ls

 neighour_0.txt   neighour_20.txt  neighour_31.txt  neighour_42.txt  neighour_53.txt  server_0.txt   server_20.txt  server_31.txt  server_42.txt  server_53.txt

 neighour_10.txt  neighour_21.txt  neighour_32.txt  neighour_43.txt  neighour_54.txt  server_10.txt  server_21.txt  server_32.txt  server_43.txt  server_54.txt

 neighour_11.txt  neighour_22.txt  neighour_33.txt  neighour_44.txt  neighour_55.txt  server_11.txt  server_22.txt  server_33.txt  server_44.txt  server_55.txt

 neighour_12.txt  neighour_23.txt  neighour_34.txt  neighour_45.txt  neighour_56.txt  server_12.txt  server_23.txt  server_34.txt  server_45.txt  server_56.txt

 neighour_13.txt  neighour_24.txt  neighour_35.txt  neighour_46.txt  neighour_57.txt  server_13.txt  server_24.txt  server_35.txt  server_46.txt  server_57.txt

 neighour_14.txt  neighour_25.txt  neighour_36.txt  neighour_47.txt  neighour_58.txt  server_14.txt  server_25.txt  server_36.txt  server_47.txt  server_58.txt

 neighour_15.txt  neighour_26.txt  neighour_37.txt  neighour_48.txt  neighour_59.txt  server_15.txt  server_26.txt  server_37.txt  server_48.txt  server_59.txt

 neighour_16.txt  neighour_27.txt  neighour_38.txt  neighour_49.txt  neighour_5.txt   server_16.txt  server_27.txt  server_38.txt  server_49.txt  server_5.txt

 neighour_17.txt  neighour_28.txt  neighour_39.txt  neighour_4.txt   neighour_6.txt   server_17.txt  server_28.txt  server_39.txt  server_4.txt   server_6.txt

 neighour_18.txt  neighour_29.txt  neighour_3.txt   neighour_50.txt  neighour_7.txt   server_18.txt  server_29.txt  server_3.txt   server_50.txt  server_7.txt

 neighour_19.txt  neighour_2.txt   neighour_40.txt  neighour_51.txt  neighour_8.txt   server_19.txt  server_2.txt   server_40.txt  server_51.txt  server_8.txt

 neighour_1.txt   neighour_30.txt  neighour_41.txt  neighour_52.txt  neighour_9.txt   server_1.txt   server_30.txt  server_41.txt  server_52.txt  server_9.txt

 [hadoop@vd01 fglib]$ hadoop fs -mkdir /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ hadoop fs -copyFromLocal * /user/hive_user/dang/fglib/

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ 

 [hadoop@vd01 fglib]$ hadoop fs -ls /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 Found  items

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_9.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_9.txt

实现批量创建表及批量入库：

 val conf = new SparkConf().setAppName("My_Test")

     //.setMaster("local[1]").setMaster("spark://xx.xx.xx.xx:7077").setJars(List("xxx.jar")).set("spark.executor.memory", "10g")

     val sc = new SparkContext(conf)

     val hiveContext = new HiveContext(sc)

     // use my_hive_db;

     hiveContext.sql("use my_hive_db")

     import hiveContext.implicits._

     hiveContext.setConf("mapred.max.split.size", "")

     hiveContext.setConf("mapred.min.split.size.per.node", "")

     hiveContext.setConf("mapred.min.split.size.per.rack", "")

     hiveContext.setConf("hive.input.format", "org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")

     hiveContext.setConf("hive.merge.mapfiles", "true")

     hiveContext.setConf("hive.merge.mapredfiles", "true")

     hiveContext.setConf("hive.merge.size.per.task", "")

     hiveContext.setConf("hive.merge.smallfiles.avgsize", "")

     hiveContext.setConf("hive.groupby.skewindata", "true")

 //    for (layer <- 0 to 59) {

 //      hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/server_" + layer + ".txt' into table bathServer_"+ layer )

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

 //    }

     sc.parallelize( to ).collect().foreach((layer)=>{

         hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/server_" + layer + ".txt' into table bathServer_"+ layer )

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

     })

     sc.stop()

   }

批量导入数据到hive表中：假设我有60张主子表如何批量创建导入数据的更多相关文章

  1. vlookup函数基本使用--如何将两个Excel表中的数据匹配；excel表中vlookup函数使用方法将一表引到另一表

    vlookup函数基本使用--如何将两个Excel表中的数据匹配:excel表中vlookup函数使用方法将一表引到另一表 一.将几个学生的籍贯匹配出来‘ 二.使用查找与引用函数 vlookup 三. ...

  2. Oracle中的自连接(self join)-当表中的某一个字段与这个表中另外字段的相关时，我们可能用到自连接。

    http://blog.163.com/wkyuyang_001/blog/static/10802122820091751049479/ 当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自 ...

  3. 将一个多表关联的条件查询中的多表通过 create select 转化成一张单表的sql、改为会话级别临时表 【我】

    将一个多表关联的条件查询中的多表通过 create   select  转化成一张单表的sql 将结果改为创建一个会话级别的临时表: -- 根据下面这两个sql CREATE TABLE revenu ...

  4. 一个表中的字段值用作另一个表的In查询条件

    Question表与Paper表 Paper表中字段QuestionIds存储的是Question表中字段Id的拼接后的值 如: 'f855eba1-b308-4bd7-a250-c071a0e1bd ...

  5. 主表a主表b 从表c中有ab两个表中各一个字段a1,b1 从表d中有ab两个表中各一个字段a2,b2

    a1和a2在a表中具有唯一性 b1和b2在b表中具有唯一性 现在需要连接c表和d表 需要分两步来做 1.先让c表join表a和表b select c.*,a.a2,b.b2 from c inner ...

  6. Oracle-更新字段-一张表的字段更新另一张的表的字段

    设备表ops_device_info中的终端号terminal_id值是以 'D'开头的字符串,而终端表ops__terminal_info中的终端号terminal_id是8位字符串, 它们之间是通 ...

  7. 用python库openpyxl操作excel,从源excel表中提取信息复制到目标excel表中

    现代生活中,我们很难不与excel表打交道,excel表有着易学易用的优点,只是当表中数据量很大,我们又需要从其他表册中复制粘贴一些数据(比如身份证号)的时候,我们会越来越倦怠,毕竟我们不是机器,没法 ...

  8. mysql一个表中多个字段对应另一个表的id如何查询？

    比如有如下2个表 a 和baaID b1ID b2ID b3ID1 1 3 52 2 4 6bbID bCon1 苹果2 香蕉3 国内4 国外5 出口6 进口其中a表中的b1ID,b2ID,b3ID都 ...

  9. 一个表中多个字段对应另一个表的ID（SQL查询）

    A数据表中多个字段对应B数据表的ID, 现在要把B表的其他字段一起查询出来 一.数据表: 1.SPEED_DETECTION_ROAD 它的 START_POINT_ID 和 END_POINT_ID ...

随机推荐

  1. MongoDb进阶实践之一 如何在Linux（CentOS 7）上安装MongoDB

    一.NoSQL数据简介         1.NoSQL概念                   NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL",是 ...

  2. 归并排序及优化(Java实现)

    普通归并排序 public class MergeSort { /** * @param arr 待排序的数组 * @param left 本次归并的左边界 * @param mid 本次归并的中间位 ...

  3. numpy pandas 索引注意事项

    pandas.DataFrame 的 iloc # ------------------------------------------------------------ 'python式的切片,包 ...

  4. 1-6 hibernate映射集合属性

    1.集合类框架 以Tree开头都是按顺序,默认情况下是升序排列. 以Linked 开头的都是按插入顺序排列的. 2.在hibernate中要持久化集合属性时必须将其声明为接口,如 private Se ...

  5. const 相关知识 const和指针、const和引用

    以前老是对const概念不清不楚,今天算是好好做个笔记总结一下.以下内容包括1)常量指针(指针本身是常量),2)指针常量(指针指向的是常量对象),3)常量引用,4)const成员函数. 常量指针,指针 ...

  6. 用bat文件启动mongodb

    bat文件是dos下的批处理文件.批处理文件是无格式的文本文件,它包含一条或多条命令.它的文件扩展名为 .bat 或 .cmd.在命令提示下键入批处理文件的名称,或者双击该批处理文件,系统就会调用cm ...

  7. Linux创建普通用户以及权限的分配

    LINUX系统能创建一个普通用户,给开发人员让他们登录吗? 答案:可以. 怎么做? 答案:一般给开发 创建一个目录账户 他要做什么操作 就给什么权限 useradd命令 useradd可用来建立用户帐 ...

  8. Oracle Orion tool check io(ORACLE Orion 工具查看以及校验IO)

    文档主要来自oracle官方文档performance 8.3章节 Oracle数据库提供了Orion,一种 I/O校准工具.Orion是预测Oracle数据库性能的工具,无需安装Oracle或创建数 ...

  9. 关于hbase中的hbase-site.xml 配置详解

    该文档是用Hbase默认配置文件生成的,文件源是 hbase-default.xml hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase.URL需要是'完 ...

  10. （译文）JavaScript基础——JavaScript中的深拷贝

    在JavaScript中如何拷贝一个对象? 通过引用调用 function mutate(obj) { obj.a = true; } const obj = {a: false}; mutate(o ...