首页
Python
Java
IOS
Andorid
NodeJS
JavaScript
HTML5
【
hive,spark的远程调试设置
】的更多相关文章
hive,spark的远程调试设置
spark的远程调试 spark-env.sh文件里面,加上下面配置即可: if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000" fi hive的远程调试设置 Hive 0.8 以上版本开始支持远程调试(注1). 1. 以debug模式启动…
Spark应用远程调试
本来想用Eclipse的.然而在网上找了一圈,发现大家都在说IntelliJ怎样怎样好.我也受到了鼓励,遂决定在这台破机器上鼓捣一次IntelliJ吧. Spark程序远程调试,就是将本地IDE连接到Spark集群中.让程序一边执行,一边通过debuger实时查看执行情况,配置好以后和本地debug差点儿相同. 之前有写过Spark集群的安装部署.http://blog.csdn.net/u013468917/article/details/50979184当时是在hadoop2.2.0平台部署…
eclipse下的jetty远程调试设置
在windows下的jetty远程调试设置1.首先说明的是windows下的jetty是通过命令java -jar start.jar来启动的,因此要想设置成远程调试模式,则要改用命令java -Xdebug -Xrunjdwp:transport=dt_socket,address=10001,server=y,suspend=n -jar start.jar来启动,其中该命令中的address就是调试端口号. 在linux下配置jetty的远程调试: 1.如果linux下也是使用命令jav…
intellj远程调试设置
场景:本地intelllij想远程调试服务器A,服务器A上起得是resin服务 步骤: 1.登陆服务器A,给resin添加启动参数. 方法一:修改resin.xml,修改完后重启resin服务器 在resin.xml的 <cluster id="web">后面加上 <server-default> <jvm-arg>-Xdebug</jvm-arg> <jvm-arg>-Xrunjdwp:transport=dt_socket…
phpstorm+xdebug远程调试设置
1 xdebug扩展安装 1.1 xdebug扩展安装: 2 服务器PHP配置 3 phpstorm设置 3.1 添加远程debug 3.2 phpstorm设置: 4 浏览器插件安装 4.1 chrome应用商店安装xdebug-helper. 5 调试过程 5.1 开启phpstrorm调试模式: 5.2 chrome开启xdebug模式: 5.3 设置调试断点: 5.4 调试过程: 1 xdebug扩展安装 1.1 xdebug扩展安装: $yum install -y php54-pec…
spark开启远程调试
一.集群环境配置 #调试Master,在master节点的spark-env.sh中添加SPARK_MASTER_OPTS变量 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000" #调试Worker,在worker节点的spark-env.sh中添加SPARK_WORKER_OPTS变量 export SPARK_WORKER_OPTS=&qu…
IDA 远程调试设置
第一步,先去 IDA dbgsrv 这个目录下,找到要调试的那个远程计算机对应的可用客户端, 比如,android_server, 把它拷贝到目标计算机中, 比如 adb push .... 然后如果是特殊的系统,给它一个执行权限, 比如 adb shell , chmod 777 ... 然后运行它,它会监听一个端口, 23946 , 使用某些方法,让这个端口可以被我们的电脑访问, 比如 adb forward tcp:23946 tcp:23946 然后,就可以打开IDA,连接这个端口…
Pycharm远程调试
1.在pycharm的安装目录中找到pycharm-debug.egg,将其拷贝到目标主机的/usr/lib/python2.7/dist-packages目录下: 执行: sudo easy_install pycharm-debug.egg #安装pydevd包 2.设置SFTP连接 如果认证方式选择 password 输入密码即可: 如果认证方式选择是 ssh key的话,需要生成ssh秘钥对,windows 生成密钥对: . 安装git,从程序目录打开 "Git Bash" .…
sbt结合IDEA对Spark进行断点调试开发
笔者出于工作及学习的目的,经常与Spark源码打交道,也难免对Spark源码做修改及测试.本人一向讲究借助工具提升效率,开发Spark过程中也在摸索如何更加顺畅的对源码进行调试. Spark基于Scala,采用IntelliJ IDEA和sbt应对日常开发,自然是最佳选择了.如何导入及编译Spark项目,网上资料很多,官网给的教程也比较详细: http://spark.apache.org/docs/latest/building-spark.html http://spark.apache.o…
VC++6.0远程调试(亲试成功)
0 前言 VS2008及以上远程调试上篇已经讲过,这里再讲下VC++6.0开发环境下的远程调试能力,仅需下面4步即可,更方便的就接着后面的5-6步. 因为目标程序需要在有采集卡等相关硬件支持下的工控机上工作,工控机上面一般没有调试环境也不会放置源代码(出于保密).假如工控机上的目标程序运行中出了问题,就需要有调试环境却无法安装采集卡等硬件的笔记本上进行远程调试. 1 远程调试条件 1.两者之间使用有线或无线连网. 2.目标机器与本机的调试机器连接通讯,需要四个文件:MSVCMON.EXE.DM.…