背景：根据业务需要需要把60张主子表批量入库到hive表。

创建测试数据：

   def createBatchTestFile(): Unit = {

     for (layer <-  to ) {

       val sWriter = new PrintWriter(new File("D:\\server_" + layer + ".txt"))

       val nWriter = new PrintWriter(new File("D:\\neighour_" + layer + ".txt"))

       sWriter.write(layer + "," + "server_" + layer)

       nWriter.write(layer + "," + "neighour_" + layer)

       sWriter.close()

       nWriter.close()

     }

   }

上传数据到服务器hdfs:

 [hadoop@vd01 fglib]$ ls

 neighour_0.txt   neighour_20.txt  neighour_31.txt  neighour_42.txt  neighour_53.txt  server_0.txt   server_20.txt  server_31.txt  server_42.txt  server_53.txt

 neighour_10.txt  neighour_21.txt  neighour_32.txt  neighour_43.txt  neighour_54.txt  server_10.txt  server_21.txt  server_32.txt  server_43.txt  server_54.txt

 neighour_11.txt  neighour_22.txt  neighour_33.txt  neighour_44.txt  neighour_55.txt  server_11.txt  server_22.txt  server_33.txt  server_44.txt  server_55.txt

 neighour_12.txt  neighour_23.txt  neighour_34.txt  neighour_45.txt  neighour_56.txt  server_12.txt  server_23.txt  server_34.txt  server_45.txt  server_56.txt

 neighour_13.txt  neighour_24.txt  neighour_35.txt  neighour_46.txt  neighour_57.txt  server_13.txt  server_24.txt  server_35.txt  server_46.txt  server_57.txt

 neighour_14.txt  neighour_25.txt  neighour_36.txt  neighour_47.txt  neighour_58.txt  server_14.txt  server_25.txt  server_36.txt  server_47.txt  server_58.txt

 neighour_15.txt  neighour_26.txt  neighour_37.txt  neighour_48.txt  neighour_59.txt  server_15.txt  server_26.txt  server_37.txt  server_48.txt  server_59.txt

 neighour_16.txt  neighour_27.txt  neighour_38.txt  neighour_49.txt  neighour_5.txt   server_16.txt  server_27.txt  server_38.txt  server_49.txt  server_5.txt

 neighour_17.txt  neighour_28.txt  neighour_39.txt  neighour_4.txt   neighour_6.txt   server_17.txt  server_28.txt  server_39.txt  server_4.txt   server_6.txt

 neighour_18.txt  neighour_29.txt  neighour_3.txt   neighour_50.txt  neighour_7.txt   server_18.txt  server_29.txt  server_3.txt   server_50.txt  server_7.txt

 neighour_19.txt  neighour_2.txt   neighour_40.txt  neighour_51.txt  neighour_8.txt   server_19.txt  server_2.txt   server_40.txt  server_51.txt  server_8.txt

 neighour_1.txt   neighour_30.txt  neighour_41.txt  neighour_52.txt  neighour_9.txt   server_1.txt   server_30.txt  server_41.txt  server_52.txt  server_9.txt

 [hadoop@vd01 fglib]$ hadoop fs -mkdir /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ hadoop fs -copyFromLocal * /user/hive_user/dang/fglib/

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 [hadoop@vd01 fglib]$ 

 [hadoop@vd01 fglib]$ hadoop fs -ls /user/hive_user/dang/fglib

 // :: INFO hdfs.PeerCache: SocketCache disabled.

 Found  items

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/neighour_9.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_0.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_1.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_10.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_11.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_12.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_13.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_14.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_15.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_16.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_17.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_18.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_19.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_2.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_20.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_21.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_22.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_23.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_24.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_25.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_26.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_27.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_28.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_29.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_3.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_30.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_31.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_32.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_33.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_34.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_35.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_36.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_37.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_38.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_39.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_4.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_40.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_41.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_42.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_43.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_44.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_45.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_46.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_47.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_48.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_49.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_5.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_50.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_51.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_52.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_53.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_54.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_55.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_56.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_57.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_58.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_59.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_6.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_7.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_8.txt

 -rw-r--r--+   hive_user hadoop          -- : /user/hive_user/dang/fglib/server_9.txt

实现批量创建表及批量入库：

 val conf = new SparkConf().setAppName("My_Test")

     //.setMaster("local[1]").setMaster("spark://xx.xx.xx.xx:7077").setJars(List("xxx.jar")).set("spark.executor.memory", "10g")

     val sc = new SparkContext(conf)

     val hiveContext = new HiveContext(sc)

     // use my_hive_db;

     hiveContext.sql("use my_hive_db")

     import hiveContext.implicits._

     hiveContext.setConf("mapred.max.split.size", "")

     hiveContext.setConf("mapred.min.split.size.per.node", "")

     hiveContext.setConf("mapred.min.split.size.per.rack", "")

     hiveContext.setConf("hive.input.format", "org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")

     hiveContext.setConf("hive.merge.mapfiles", "true")

     hiveContext.setConf("hive.merge.mapredfiles", "true")

     hiveContext.setConf("hive.merge.size.per.task", "")

     hiveContext.setConf("hive.merge.smallfiles.avgsize", "")

     hiveContext.setConf("hive.groupby.skewindata", "true")

 //    for (layer <- 0 to 59) {

 //      hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/server_" + layer + ".txt' into table bathServer_"+ layer )

 //      hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

 //    }

     sc.parallelize( to ).collect().foreach((layer)=>{

         hiveContext.sql("create table if not exists bathServer_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("create table if not exists bathNeighbour_" + layer + "(id int,name string) row format delimited fields terminated by ',' stored as textfile")

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/server_" + layer + ".txt' into table bathServer_"+ layer )

         hiveContext.sql("load data inpath 'hdfs:/user/userxx/dang/fglib/neighour_" + layer + ".txt' into table bathNeighbour_"+ layer )

     })

     sc.stop()

   }

批量导入数据到hive表中：假设我有60张主子表如何批量创建导入数据的更多相关文章

  1. vlookup函数基本使用--如何将两个Excel表中的数据匹配；excel表中vlookup函数使用方法将一表引到另一表

    vlookup函数基本使用--如何将两个Excel表中的数据匹配:excel表中vlookup函数使用方法将一表引到另一表 一.将几个学生的籍贯匹配出来‘ 二.使用查找与引用函数 vlookup 三. ...

  2. Oracle中的自连接(self join)-当表中的某一个字段与这个表中另外字段的相关时，我们可能用到自连接。

    http://blog.163.com/wkyuyang_001/blog/static/10802122820091751049479/ 当表中的某一个字段与这个表中另外字段的相关时,我们可能用到自 ...

  3. 将一个多表关联的条件查询中的多表通过 create select 转化成一张单表的sql、改为会话级别临时表 【我】

    将一个多表关联的条件查询中的多表通过 create   select  转化成一张单表的sql 将结果改为创建一个会话级别的临时表: -- 根据下面这两个sql CREATE TABLE revenu ...

  4. 一个表中的字段值用作另一个表的In查询条件

    Question表与Paper表 Paper表中字段QuestionIds存储的是Question表中字段Id的拼接后的值 如: 'f855eba1-b308-4bd7-a250-c071a0e1bd ...

  5. 主表a主表b 从表c中有ab两个表中各一个字段a1,b1 从表d中有ab两个表中各一个字段a2,b2

    a1和a2在a表中具有唯一性 b1和b2在b表中具有唯一性 现在需要连接c表和d表 需要分两步来做 1.先让c表join表a和表b select c.*,a.a2,b.b2 from c inner ...

  6. Oracle-更新字段-一张表的字段更新另一张的表的字段

    设备表ops_device_info中的终端号terminal_id值是以 'D'开头的字符串,而终端表ops__terminal_info中的终端号terminal_id是8位字符串, 它们之间是通 ...

  7. 用python库openpyxl操作excel,从源excel表中提取信息复制到目标excel表中

    现代生活中,我们很难不与excel表打交道,excel表有着易学易用的优点,只是当表中数据量很大,我们又需要从其他表册中复制粘贴一些数据(比如身份证号)的时候,我们会越来越倦怠,毕竟我们不是机器,没法 ...

  8. mysql一个表中多个字段对应另一个表的id如何查询？

    比如有如下2个表 a 和baaID b1ID b2ID b3ID1 1 3 52 2 4 6bbID bCon1 苹果2 香蕉3 国内4 国外5 出口6 进口其中a表中的b1ID,b2ID,b3ID都 ...

  9. 一个表中多个字段对应另一个表的ID（SQL查询）

    A数据表中多个字段对应B数据表的ID, 现在要把B表的其他字段一起查询出来 一.数据表: 1.SPEED_DETECTION_ROAD 它的 START_POINT_ID 和 END_POINT_ID ...

随机推荐

  1. ASP.NET MVC编程——错误处理与日记

    ASP.NET MVC的错误处理应考虑到这几个方面:模型绑定期间发生的错误,未能路由到指定操作,针对控制器的错误处理.使用配置文件可以帮助我们处理异常,但是不够灵活和全面:使用HandleErrorA ...

  2. Session 的原理及最佳实践

    Http协议是基于请求和响应的一种无状态的协议,而通过session可以使得Http应用变得有状态,即可以"记住"客户端的信息.今天就来说说这个session和cookie. Se ...

  3. 【Python】 压缩文件处理 zipfile & tarfile

    [zipfile] 虽然叫zipfile,但是除了zip之外,rar,war,jar这些压缩(或者打包)文件格式也都可以处理. zipfile模块常用的一些操作和方法: is_zipfile(file ...

  4. Tomcat服务器简单测试jsp文件和html文件

    在tomcat里面的webapps文件夹下面新建一个test文件, 写一个test.html的文件,一个test.jsp的文件,两个文件的内容全是:2+2=<%=2+2%> 重新启动Tom ...

  5. Eclipse中的所有快捷键列表

    Eclipse中的所有快捷键列表: Ctrl+1 快速修复(最经典的快捷键,就不用多说了) Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加) Ctrl+Alt+↑ 复制 ...

  6. Java 并发编程实践基础 读书笔记： 第一章 JAVA并发编程实践基础

    1.创建线程的方式: /** * StudySjms * <p> * Created by haozb on 2018/2/28. */ public class ThreadDemo e ...

  7. 记录一个古老的Sql分页过程

    /* 根据单位ID获取排班信息 For:WXX TIme:2017-11-22 */ ALTER proc [dbo].[proc_ScheduleInfo] )='', --单位ID )='', - ...

  8. Python报错TypeError: '<' not supported between instances of 'str' and 'int'

    n = input() if n>=100:print(int(n)/10) else:print(int(n)*10) 报错内容: Traceback (most recent call la ...

  9. 第1次作业：no blog no fun

    1.先回答老师的问题 第一部分:结缘计算机       读了进入2012 -- 回顾我走过的编程之路后,我试着回顾了我的编程生涯的开始.我最原始的记忆就是老爸教我用电脑玩连连看,那时候的显示器应该是C ...

  10. C语言第四次作业--嵌套循环

    一.PTA实验作业 题目1:打印九九口诀表 1.本题PTA提交列表 2.设计思路 (1)定义三个整形变量n,j,i,n表示任意给定的正整数. (2)输入一个正整数n. (3)令i=1,i<=n, ...