Spark SQL历险记

现在的spark sql编程通常使用scala api 以及 java api的方式，相比于直接使用 spark sql语句，spark api灵活很多，毕竟可以基于dataset以及rdd两种方式进行操作，不过spark sql的坑就有点多了。

1，getClass.getResourceAsStream这个类，网上通常说的是不加"/"是从当前包读取，加了"/"是从根class路径读取，但是根路径并不是在idea或者文件下看到的诸如src/main/resource/这样的路径，而是最终打包时候生成的jar的时候的格式，在生成jar包的时候resource文件夹下会被展开到根路径下，所以如果要加载resource下的资源，只需要"/资源名"就可以了

2、select crossInfo, split(crossInfo, '|') as jda from tem_test_yy lateral view explode(split(jdaList, '#')) tmpTable as crossInfo

这个语句有bug，返回的结果是

jda1||time1    ["j","d","a","","|","","|","t","i","m","e","",""]
jda1||time1    ["j","d","a","","|","","|","t","i","m","e","",""]
jda2||time2    ["j","d","a","","|","","|","t","i","m","e","",""]
jda3||time3   ["|","j","d","a","","|","","|","t","i","m","e","",""]

主要原因是hive里面|字符要使用转义符号！！，所以正确用法是split(crossInfo, '\\|');

3、spark persist不能乱用，尤其是

MEMORY_AND_DISK_SER

级别，对于大表来说，persist效率远不如多执行一遍。。对于几十亿级别的表，效率可降低数倍。。

4、dataframe = dataset[row]  ,spark map里面的匿名函数返回值不能是dataset[row]，否则会报序列化错误，它只支持dataset[class]的形式，需要在返回以后 在driver端通过 dataset[row].toDF()转成 dataframe也就是dataset[row]才行。但是dataset[row]可以作为map的输入。

5、scala selet("_1.*")和select($"_1")，如果处理的是Tuple[_1,_2]类型的dataset,

后者会生成如下的schema

|-- _1: struct (nullable = true)
 |    |-- all_jda: string (nullable = true)
 |    |-- user_visit_ip: string (nullable = true)
 |    |-- sequence_num: integer (nullable = true)

前者是生成如下的schema

 | -- all_jda: string (nullable = true)
 | -- user_visit_ip: string (nullable = true)
 | -- sequence_num: integer (nullable = true)

这绝对是一个坑=。=，后者会把多一层schema结构，而在spark sql语句中是能直接取到非顶层的列的。。

6、spark sql的一些问题

(1)， hive支持使用正则语句，spark sql 不支持
(2)， left out join on A.column = B.column 而不能写成 left out join on column;
(3),  select * from A left out join B on cloumn会造成ambigious错误 需要小心
(4),  concat_ws不支持对除String外的其他类型数组的连接，需要自己实现一个udf