Spark学习笔记之-Spark远程调试

Spark远程调试

                      

 

本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ IDEA。

 

1、了解jvm一些参数属性

 

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888

 

这里对上面的几个参数进行说明：
-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现，包含若干子选项：
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
server=y y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

 

2、编译打包，正常打包即可。

    放到spark服务器上跑之，执行：

    a、spark-submit --supervise --class spark_security.Sockpuppet  --name "testkdl1"  --executor-memory 8192M --num-executors 8 --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" spark_Security-1.0-SNAPSHOT.jar  logindelaer.properties 

    其中对应加色字体为：包中具体的方法、打包的文件、对应方法的配置文件

    黑色加粗参数为：启用远程调试参数

    b、也可在conf/spark-env.sh这个文件最后加入

          export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"

          不过没有进行实际测试

    

    执行结果会显示如下，监听8888端口，暂停等待调试器连接，如下：

    

 

3、配置IDEA调试的一些参数

    Run -> Edit Configurations ->点击左上角 ‘+’ -> Remote -> 设置连接端口  如下

    

 

 

4、在程序中设置断点

    

 

5、Run -> Debug 进行调试启动

 

6、Ok完成

    连接成功

    spark服务器端显示如下：

    

    

    IDEA显示：

    

 

    停在断点，同本地调试一样，也可以查看变量值等