044 hive与mysql两种数据源之间的join

　　这篇文章是基于上一篇文章的续集

一：需求

1.图形表示

　　

二：程序

1.程序、

 package com.scala.it

 import java.util.Properties

 import org.apache.spark.sql.SaveMode
 import org.apache.spark.sql.hive.HiveContext
 import org.apache.spark.{SparkConf, SparkContext}

 object HiveToMysql {
   def main(args: Array[String]): Unit = {
     val conf = new SparkConf()
       .setMaster("local[*]")
       .setAppName("hive-yo-mysql")
     val sc = SparkContext.getOrCreate(conf)
     val sqlContext = new HiveContext(sc)
     val (url, username, password) = ("jdbc:mysql://linux-hadoop01.ibeifeng.com:3306/hadoop09", "root", "123456")
     val props = new Properties()
     props.put("user", username)
     props.put("password", password)

     // ==================================
     // 第一步：同步hive的dept表到mysql中
     sqlContext
       .read
       .table("hadoop09.dept") // database.tablename
       .write
       .mode(SaveMode.Overwrite) // 存在覆盖
       .jdbc(url, "mysql_dept", props)

     // 第二步：hive表和mysql表进行数据join操作 ==> 采用HQL语句实现
     // 2.1 将mysql的数据注册成为临时表
     sqlContext
       .read
       .jdbc(url, "mysql_dept", props)
       .registerTempTable("temp_mysql_dept") // 临时表中不要出现"."

     // 第三步数据join
     sqlContext.sql(
       """
         |SELECT a.*,b.dname,b.loc
         |FROM hadoop09.emp a join temp_mysql_dept b on a.deptno = b.deptno
       """.stripMargin)
       .write
       .format("org.apache.spark.sql.execution.datasources.parquet")
       .mode(SaveMode.Overwrite)
       .save("/spark/join/parquet")

     // 检测数据是否join成功
     sqlContext
       .read
       .format("parquet")
       .load("/spark/join/parquet")
       .show()

   }
 }

2.效果

　　

三：知识点

1.format

　　可以写包名。