Spark排序方式集锦

一.简介

　　spark中的排序一般可以使用orderBy或sort算子，可以结合负号、ASC/DESC和col进行简单排序、二次排序等情况

二.代码实现

 package big.data.analyse.sparksql

 import org.apache.log4j.{Level, Logger}
 import org.apache.spark.sql.SparkSession

 /**
   * 排序
   * Created by zhen on 2019/8/14.
   */
 object DateFrameSort {
   Logger.getLogger("org").setLevel(Level.WARN)
   def main(args: Array[String]): Unit = {
     val spark = SparkSession.builder().appName("DateFrameSort").master("local[2]").getOrCreate()

     val data = Array((7, 2, 3), (1, 8, 6), (1, 8, 3), (4, 5, 9))
     val df = spark.createDataFrame(data).toDF("col1", "col2", "col3")
     println("===原始数据===")
     df.show()
     println("===按照col1,col2进行默认排序===")
     // 默认的升序，会按照列的先后顺序进行升序排序
     df.orderBy("col2", "col3").show()
     println("===按照-df(col1)进行升序排序===")
     /**
       * 此排序方式需要提前创建好df，不能在创建df时使用
       */
     df.orderBy(-df("col2")).show
     println("===按照df(col1).asc,df(col2).desc进行二次排序===")
     /**
       * 二次排序
       * -号和desc/asc不能在一块使用
       */
     df.orderBy(df("col1").asc,df("col2").desc).show
     println("===asc/desc排序方法===")

     /**
       * 使用desc等算子需要预先导入
       */
     import org.apache.spark.sql.functions._

     df.orderBy(asc("col2")).show
     spark.createDataFrame(data).toDF("col1", "col2", "col3").orderBy(desc("col2")).show
     df.orderBy(asc("col2"), desc("col3")).show
     /**
       * sort函数和orderBy用法类似
       */
     df.sort(desc("col2")).show
     println("===col组合asc/desc排序方法===")
     df.orderBy(-col("col2")).show
     df.orderBy(col("col2").desc).show
     /**
       * 第二列无效
       * -号和desc/asc不能在一个orderBy使用
       */
     df.orderBy(col("col2").desc, -col("col3")).show
     spark.stop()
   }
 }

三.结果