047 SparkSQL自定义UDF函数

一：程序部分

1.需求

　　Double数据类型格式化，可以给定小数点位数

2.程序

 package com.scala.it
 import org.apache.spark.{SparkConf, SparkContext}
 import org.apache.spark.sql.SQLContext
 import org.apache.spark.sql.hive.HiveContext

 import scala.math.BigDecimal.RoundingMode
 object SparkSQLUDFDemo {
   def main(args: Array[String]): Unit = {
     val conf = new SparkConf()
       .setMaster("local[*]")
       .setAppName("udf")
     val sc = SparkContext.getOrCreate(conf)
     val sqlContext = new HiveContext(sc)

     // ==================================
     // 写一个Double数据格式化的自定义函数(给定保留多少位小数部分)
     sqlContext.udf.register(
       "doubleValueFormat", // 自定义函数名称
       (value: Double, scale: Int) => {
         // 自定义函数处理的代码块
         BigDecimal.valueOf(value).setScale(scale, RoundingMode.HALF_DOWN).doubleValue()
       })

     sqlContext.sql(
       """
         |SELECT
         |  deptno,
         |  doubleValueFormat(AVG(sal), 2) AS avg_sal
         |FROM hadoop09.emp
         |GROUP BY deptno
       """.stripMargin).show()

   }
 }

3.结果

　　

二：知识点解释

1.udf

　　

2.refister