spark使用Hive表操作

spark Hive表操作

之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。

比如说一个修改表分区的操作

一.使用HiveServer的方式

val tblName = "hive_table"

def dropPartitions(tblName: String): Unit = {

  val HIVE_SERVER = "jdbc:hive2://192.168.xx.xxx:10000"

  import java.sql.DriverManager

  Class.forName("org.apache.hive.jdbc.HiveDriver")

  val conn = DriverManager.getConnection(HIVE_SERVER, "xxx", "")

  val stmt = conn.createStatement()

  val addSQL = s"msck repair table $tblName"
  stmt.execute(addSQL)

  conn.close()
}

二.使用HiveContext的方式

后来发现通过HiveContext可以实现同样的功能，却方便的多，也不用通过hiveServer，再也不怕hiveServer宕机啦～

先创建一个HiveContext,当然hiveContext也是可以对Hive表进行查询操作的

val sqlContext = new HiveContext(sc)

同样功能的函数

val tblName = "hive_table"

def dropPartitions(tblName: String,sqlContext :HiveContext): Unit = {

  sqlContext.sql(s"msck repair table $tblName")

}