解决Spark filter过滤条件中使用>=或<=时不识别的问题

一.场景

     val jldxx_zxzq = jldxx_with_dddf
       .withColumn("ZXZQ", zxzq(col("CBZQ")))
       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
       // 如果存在，过滤掉抄表日期不在当前执行周期内的数据
       .filter(row => row.getAs("CBRQ") >= row.getAs("ZXZQ").split("_")(0) &&
         row.getAs("CBRQ") <= row.getAs("ZXZQ").split("_")(1))

二.异常信息

　　

三.原因

　　是因为使用getAs函数获取某列的数据时没有指明具体的类型，导致无法判断是否支持"<="或 ">="这类的运算符，因而会报错！

三.解决方案

　　使用getAs时指明具体的类型！

　　代码如下：

 val jldxx_zxzq = jldxx_with_dddf
       .withColumn("ZXZQ", zxzq(col("CBZQ")))
       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
       // 如果存在，过滤掉抄表日期不在当前执行周期内的数据
       .filter(row => row.getAs[String]("CBRQ") >= row.getAs[String]("ZXZQ").split("_")(0) &&
         row.getAs[String]("CBRQ") <= row.getAs[String]("ZXZQ").split("_")(1))