Spark操作parquet文件

 package code.parquet

 import java.net.URI

 import org.apache.hadoop.conf.Configuration
 import org.apache.hadoop.fs.{Path, FileSystem}
 import org.apache.spark.sql.{SaveMode, SparkSession}

 /**
   * Created by zhen on 2018/12/11.
   */
 object ParquetIO {
   // 指定hdfs根节点
   private val hdfsRoot = "hdfs://172.20.32.163:8020"
   // 获取HDFS路径
   def getPath(path: String): Path = {
     if (path.toLowerCase().startsWith("hdfs://")) {
       new Path(path)
     } else {
       new Path(hdfsRoot + path)
     }
   }
   def main(args: Array[String]) {
     val spark = SparkSession.builder().appName("parquet").master("local[2]").getOrCreate()
     spark.sparkContext.setLogLevel("WARN") // 设置日志级别为WARN
     val fsUri = new URI(hdfsRoot)
     val fs = FileSystem.get(fsUri, new Configuration())
     val path = hdfsRoot + "/YXFK/compute/KH_JLD"
     val has = fs.exists(getPath(path))
     if(has){
       // 读取hdfs文件系统parquet数据
       val dataFrame = spark.read.parquet(path)
       dataFrame.show(10)
       // 筛选，过滤数据
       val result = dataFrame.select("JLDBH", "JLDDZ", "JLDMC", "JLFSDM", "CJSJ")
         .filter("JLDDZ is not null AND JLFSDM = 3")
         .sort("JLDBH")
       result.show(10)
       // 写入部分数据到本地
       result.write.mode(SaveMode.Overwrite).parquet("E:\\result")
     }
     // 读取本地parquet数据
     val localDataFrame = spark.read.parquet("E:\\jld.parquet")
     localDataFrame.show(10)
     // 读取写入数据验证
     val resultSpace = spark.read.parquet("E:\\result")
     resultSpace.show(10)
   }
 }

结果：

分析：Spark读取parquet数据默认为目录，因此可以只指定到你要读取的上级目录即可（本地模式除外），当保存为parquet时，会自动拆分，因此只能指定为上级目录。