spark应用程序常见问题整理

1.executor lost /java oom

通常是由于单个task内存占用过多，可以观察是哪个阶段挂的，如果类似groupbykey，可以看看是否有数据倾斜现象

如果不是，可以repartition手动增加partitioin数，减少单个task的资源消耗

有cache操作，partition数需要调的更大

2.看不到log,可能是关闭了eventlog

3.hadoop慢节点，可以考虑配置推测执行，但是需要合理设置阈值

4.spark.max.creatFiles 1000

最后输出使用repartition ,限制一下文件数（在小文件的情况下，比如文件大小平均不到1m）

5.all master unresposive

spark-submit --class org.apache.spark.examples.SparkPi  \

--driver-memory 4g\

--queue default\

--conf "spark.dynamicAllocation.minExecutors=10"

--conf "spark.dynamicAllocation.maxExecutors=40"

lib/spark-examples*.jar \#指定程序JAR的位置

6.historyserver查看

yarn log无法查看，没有开启日志聚集

7.程序有Bug或者spark-shell没有退出。手动kill

8.error while invoking rpchandler#receive

unread block data

driver内存不足导致

另外1.6 spark默认rpc方式是netty 不是akka

9.new SparkContext启动慢

driver内存小/queue没资源（会显示0/0）

10.NoRouteToHostException

网络问题，重试OK

11.error sending reponse

driver内存不足

12.程序调优

计算不平衡，内存不足（GC时间过长）