背景：根据业务需要需要把60张主子表批量入库到hive表。

创建测试数据：

   def createBatchTestFile(): Unit = {

     for (layer <-  to ) {

       val sWriter = new PrintWriter(new File("D:\\server_" + layer + ".txt"))

       val nWriter = new PrintWriter(new File("D:\\neighour_" + layer + ".txt"))

       sWriter.write(layer + "," + "server_" + layer)

       nWriter.write(layer + "," + "neighour_" + layer)

       sWriter.close()

       nWriter.close()

     }

   }

上传数据到服务器hdfs:

 [hadoop@vd01 fglib]$ ls

 neighour_0.txt   neighour_20.txt  neighour_31.txt  neighour_42.txt  neighour_53.txt  server_0.txt   server_20.txt  server_31.txt  server_42.txt  server_53.txt

 neighour_10.txt  neighour_21.txt  neighour_32.txt  neighour_43.txt  neighour_54.txt  server_10.txt  server_21.txt  server_32.txt  server_43.txt  server_54.txt

 neighour_11.txt  neighour_22.txt  neighour_33.txt  neighour_44.txt  neighour_55.txt  server_11.txt  server_22.txt  server_33.txt  server_44.txt  server_55.txt

 neighour_12.txt  neighour_23.txt  neighour_34.txt  neighour_45.txt  neighour_56.txt  server_12.txt  server_23.txt  server_34.txt  server_45.txt  server_56.txt

 neighour_13.txt  neighour_24.txt  neighour_35.txt  neighour_46.txt  neighour_57.txt  server_13.txt  server_24.txt  server_35.txt  server_46.txt  server_57.txt

 neighour_14.txt  neighour_25.txt  neighour_36.txt  neighour_47.txt  neighour_58.txt  server_14.txt  server_25.txt  server_36.txt  server_47.txt  server_58.txt

 neighour_15.txt  neighour_26.txt  neighour_37.txt  neighour_48.txt  neighour_59.txt  server_15.txt  server_26.txt  server_37.txt  server_48.txt  server_59.txt

 neighour_16.txt  neighour_27.txt  neighour_38.txt  neighour_49.txt  neighour_5.txt   server_16.txt  server_27.txt  server_38.txt  server_49.txt  server_5.txt

 neighour_17.txt  neighour_28.txt  neighour_39.txt  neighour_4.txt   neighour_6.txt   server_17.txt  server_28.txt  server_39.txt  server_4.txt   server_6.txt

 neighour_18.txt  neighour_29.txt  neighour_3.txt   neighour_50.txt  neighour_7.txt   server_18.txt  server_29.txt  server_3.txt   server_50.txt  server_7.txt

 neighour_19.txt  neighour_2.txt   neighour_40.txt  neighour_51.txt  neighour_8.txt   server_19.txt  server_2.txt   server_40.txt  server_51.txt  server_8.txt

 neighour_1.txt   neighour_30.txt  neighour_41.txt  neighour_52.txt  neighour_9.txt   server_1.txt   server_30.txt  server_41.txt  server_52.txt  server_9.txt

 [hadoop@vd01 fglib]$ hadoop fs -mkdir /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ hadoop fs -copyFromLocal * /user/hive_user/dang/fglib/

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ 

 [hadoop@vd01 fglib]$ hadoop fs -ls /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 Found  items

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_9.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_9.txt

实现批量创建表及批量入库：

 val conf = new SparkConf().setAppName("My_Test")

     //.setMaster("local[1]").setMaster("spark://xx.xx.xx.xx:7077").setJars(List("xxx.jar")).set("spark.executor.memory", "10g")

     val sc = new SparkContext(conf)

     val hiveContext = new HiveContext(sc)

     // use my_hive_db;

     hiveContext.sql("use my_hive_db")

     import hiveContext.implicits._

     hiveContext.setConf("mapred.max.split.size", "")

     hiveContext.setConf("mapred.min.split.size.per.node", "")

     hiveContext.setConf("mapred.min.split.size.per.rack", "")

     hiveContext.setConf("hive.input.format", "org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")

     hiveContext.setConf("hive.merge.mapfiles", "true")

     hiveContext.setConf("hive.merge.mapredfiles", "true")

     hiveContext.setConf("hive.merge.size.per.task", "")

     hiveContext.setConf("hive.merge.smallfiles.avgsize", "")

     hiveContext.setConf("hive.groupby.skewindata", "true")

 //    for (layer <- 0 to 59) {

 //      hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/server_" + layer + ".txt' into table bathServer_"+ layer )

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

 //    }

     sc.parallelize( to ).collect().foreach((layer)=>{

         hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/server_" + layer + ".txt' into table bathServer_"+ layer )

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

     })

     sc.stop()

   }

批量导入数据到hive表中：假设我有60张主子表如何批量创建导入数据的更多相关文章

  1. vlookup函数基本使用--如何将两个Excel表中的数据匹配；excel表中vlookup函数使用方法将一表引到另一表

    vlookup函数基本使用--如何将两个Excel表中的数据匹配:excel表中vlookup函数使用方法将一表引到另一表 一.将几个学生的籍贯匹配出来‘ 二.使用查找与引用函数 vlookup 三. ...

  2. Oracle中的自连接(self join)-当表中的某一个字段与这个表中另外字段的相关时，我们可能用到自连接。

    http://blog.163.com/wkyuyang_001/blog/static/10802122820091751049479/ 当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自 ...

  3. 将一个多表关联的条件查询中的多表通过 create select 转化成一张单表的sql、改为会话级别临时表 【我】

    将一个多表关联的条件查询中的多表通过 create   select  转化成一张单表的sql 将结果改为创建一个会话级别的临时表: -- 根据下面这两个sql CREATE TABLE revenu ...

  4. 一个表中的字段值用作另一个表的In查询条件

    Question表与Paper表 Paper表中字段QuestionIds存储的是Question表中字段Id的拼接后的值 如: 'f855eba1-b308-4bd7-a250-c071a0e1bd ...

  5. 主表a主表b 从表c中有ab两个表中各一个字段a1,b1 从表d中有ab两个表中各一个字段a2,b2

    a1和a2在a表中具有唯一性 b1和b2在b表中具有唯一性 现在需要连接c表和d表 需要分两步来做 1.先让c表join表a和表b select c.*,a.a2,b.b2 from c inner ...

  6. Oracle-更新字段-一张表的字段更新另一张的表的字段

    设备表ops_device_info中的终端号terminal_id值是以 'D'开头的字符串,而终端表ops__terminal_info中的终端号terminal_id是8位字符串, 它们之间是通 ...

  7. 用python库openpyxl操作excel,从源excel表中提取信息复制到目标excel表中

    现代生活中,我们很难不与excel表打交道,excel表有着易学易用的优点,只是当表中数据量很大,我们又需要从其他表册中复制粘贴一些数据(比如身份证号)的时候,我们会越来越倦怠,毕竟我们不是机器,没法 ...

  8. mysql一个表中多个字段对应另一个表的id如何查询？

    比如有如下2个表 a 和baaID b1ID b2ID b3ID1 1 3 52 2 4 6bbID bCon1 苹果2 香蕉3 国内4 国外5 出口6 进口其中a表中的b1ID,b2ID,b3ID都 ...

  9. 一个表中多个字段对应另一个表的ID（SQL查询）

    A数据表中多个字段对应B数据表的ID, 现在要把B表的其他字段一起查询出来 一.数据表: 1.SPEED_DETECTION_ROAD 它的 START_POINT_ID 和 END_POINT_ID ...

随机推荐

  1. VMware安装Centos6.4及CentOS的基本设置

    1.vmware安装vmware tools实现与本地磁盘文件夹的共享 2.设置Centos网络 vmware采用nat方式.虚拟机网络使用虚拟网卡(VMware Network Adapter VM ...

  2. Mysql5.7动态修改innodb_buffer_pool_size

    SELECT @@innodb_buffer_pool_size,@@innodb_buffer_pool_chunk_size,@@innodb_buffer_pool_instances; SET ...

  3. ConcurrentHashMap源码解析（JDK1.8）

    package java.util.concurrent; import java.io.ObjectStreamField; import java.io.Serializable; import ...

  4. react 实用的性能优化方式

    react 组件渲染分为初始化渲染和更新渲染,当我们更新某个组件的时候,只是想关键路径上组件的render,但react的默认做法是调用所以组件的reder,再生成虚拟dom进行对比,如不变则不进行更 ...

  5. bootstrap 模态框（modal）插件使用

    今天用户登陆时,在原网页上弹出新登陆窗口,发现使用的是modal插件,记录下该插件的使用方法,手写强化下. 首先,模态框(modal)是覆盖在父窗体上的子窗体,目的是显示来自一个单独的源的内容,可以在 ...

  6. C语言--嵌套循环

    一.PTA实验作业 题目1 水果价格 1.本题PTA提交列表 2.设计思路 第一步:定义变量number,表示输入的编号 第二步:定义变量i,用来记录编号数目 第三步:输出菜单:[1] apple [ ...

  7. 201621123040《Java程序设计》第十周学习总结

    1.本周学习总结 2.书面作业 2.1常用异常 2.1.1自己以前编写的代码中经常出现什么异常.需要捕获吗(为什么)?应如何避免? 算术异常ArithmeticException(除数为0的情况) 类 ...

  8. 201621123040《Java程序设计》第2周学习总结

    1.本周学习总结 关键词:Java中的字符串与数组 c语言基本语法的迁移 相关总结:在一周的学习过程中,我自主学习Java的基本语法,前期的相关语法与c语言的基本语法相近,也算是做到了很好的回顾:在郑 ...

  9. 20145237 《Java程序设计》第七周学习总结

    20145237 <Java程序设计>第七周学习总结 教材学习内容总结 第十三章   一.认识时间与日期   1.时间的度量   在正式认识Java提供了哪些时间处理API之前,得先来了解 ...

  10. Flask-uploads 简单使用

    pip install flask-uploads#先导入次此处需要用到的库: from flask_uploads import UploadSet, IMAGES, configure_uploa ...