使用Windows上Eclipse远程调试Linux上的Hadoop
#Windows命令提示符下创建用户,并设置密码永不过期 http://zhcxl.blog.51cto.com/211202/841964
net user grid grid /add /comment:"模拟Hadoop运行用户" /passwordchg:no
#将用户密码配置为永不过期 http://technet.microsoft.com/zh-cn/library/hh967633.aspx
cmd /c "wmic.exe Path Win32_UserAccount Where Name=""grid"" Set PasswordExpires=""FALSE"" "


runas /user:grid /savecred %~dp0\eclipse.exe
##下载解压Ant
cd /usr/local/src
wget -nc http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.2-bin.tar.gz
tar -zxvf apache-ant-[0-9]*-bin.tar.gz
mv apache-ant-[0-9]*[^z] /usr/local/apache-ant
chown -R grid:grid /usr/local/apache-ant
##解压一份Hadoop用于编译
cd /usr/local/src
tar -zxf hadoop-[0-9]*[0-9].tar.gz
mv hadoop-[0-9]*[0-9] hadoop_for_build
chown -R grid:grid /usr/local/src/hadoop_for_build
##修改FileUtil.java注释掉checkReturnValue的判断
cd /usr/local/src/hadoop_for_build
cp -n -p src/core/org/apache/hadoop/fs/FileUtil.java src/core/org/apache/hadoop/fs/FileUtil.java.save
sed -i '/private static void checkReturnValue/,/private static void execSetPermission/s/!rv/1!=1/' \
src/core/org/apache/hadoop/fs/FileUtil.java
##获得Hadoop版本
HADOOP_VERSION=`grep "Release" CHANGES.txt | sed 1q | awk '{print $2}'`
##备份hadoop-core-*.jar包,以后会被Eclipse的Map/Reduce程序覆盖
cp -p hadoop-core-$HADOOP_VERSION.jar hadoop-core-$HADOOP_VERSION.jar.bak
##修改源码编译的版本,默认是带SNAPSHOT的
sed -i 's@\(<property name="version" value="\)1.2.2-SNAPSHOT\("/>\)@\1'"$HADOOP_VERSION"'\2@' \
build.xml
##使用Ant重新编译hadoop的jar包
cd /usr/local/src/hadoop_for_build
time /usr/local/apache-ant/bin/ant 1> /tmp/ant.log
##检查编译结果
cat /tmp/ant.log | grep error
tail -n10 /tmp/ant.log
rm -f /tmp/ant.log
ls build


grep -q "dfs.permissions" $HADOOP_CONF_DIR/hdfs-site.xml
sed -i '/<\/configuration>/i\
<property>\
<name>dfs.permissions</name>\
<value>false</value>\
</property>\
' \
$HADOOP_CONF_DIR/hdfs-site.xml








使用Windows上Eclipse远程调试Linux上的Hadoop的更多相关文章
- 使用Windows上的Eclipse 远程调试 linux下的Tomcat
1:修改Linux上Tomcat的catalina.sh,第一行添加declare -x CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_sock ...
- 使用xdebug+eclipse远程调试centOS7上的PHP代码
这两天一直在研究PHP代码的调试,原来开发一直用的var_dump,麻烦! 最近发现能使用xdebug+eclipse远程单步调试PHP,但是百度后实现此技术的文章都写得不够具体. 我照着这里零散的文 ...
- windows下Eclipse远程连接linux hadoop远程调试 经验(一)
环境 Windows 7 64bit JDK 1.6.0_45 (i586) JDK 1.7.0_51 (i586) Eclipse Kepler Eclipse -plugin-1.2.1.ja ...
- eclipse远程调试Linux环境下的web项目
前提: 远程服务器上的代码和本地的代码同步 第一步 : 配置远程服务器下的startup.sh文件 在第一行添加 : declare -x CATALINA_OPTS="-server -X ...
- Eclipse远程调试+FTPClient在jdk6以上写法不兼容问题的排查
业务场景: 应业务新需求的UAT测试,需要部署一份新tomcat到测试环境.新环境正常启动并运行了一天,没太大差错.但今天发现原本在另一个老的tomcat下运行的好好的FTP上传文件模块突然出了问题. ...
- 转载:JProfiler远程监控LINUX上的Tomcat过程细讲
来源于xuwanbest的博客 所谓"工欲善其事,必先利其器",好的工具确能起到事半工倍的作用.我用到的最多的就两个JConsole 和JProfiler .JConsole监 ...
- JProfiler远程监控Linux上Tomcat的安装过程细讲(步骤非常详细!!!)
JProfiler远程监控Linux上Tomcat的安装过程细讲(步骤非常详细!!!) 1.文件准备: 服务器:CentOS Linux release 7.3.1611 (Core) Apa ...
- Linux下使用Eclipse 远程调试
1 开启端口 修改/apache-tomcat-7.0.40/bin/catalina.sh 在合适的位置(请自行判断,只要有JAVA_OPTS的设定前后即可)插入下面的设定:UI_DEBUG=&qu ...
- 远程调试 Azure 上的 Website
让我们先检查一下使用的 Azure SDK 版本和 Visual Studio 版本.根据MSDN的介绍,Azure 的远程调试功能是在 Azure SDK 2.2 中加入的,所以请确保您的机器上安装 ...
随机推荐
- 15.3 Task 语法和语义
15.3.1 声明异步方法和返回类型 async static void GetStringAsync() { using (var client = new HttpClient()) { Task ...
- 洛谷P1601 A+B Problem(高精)
题目描述 高精度加法,x相当于a+b problem,[b][color=red]不用考虑负数[/color][/b] 输入输出格式 输入格式: 分两行输入a,b<=10^500 输出格式: 输 ...
- nyoj22-素数求和问题
素数求和问题 时间限制:3000 ms | 内存限制:65535 KB 难度:2 描述 现在给你N个数(0<N<1000),现在要求你写出一个程序,找出这N个数中的所有素数,并求和. ...
- 继续聊WPF——Expander控件(2)
<Window x:Class="Expander_Sample2.Window1" xmlns="http://schemas.microsoft.com/win ...
- 1.IDEA的安装
.1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
- 【[Offer收割]编程练习赛11 B】物品价值
[题目链接]:http://hihocoder.com/problemset/problem/1486 [题意] [题解] 设f[i][j]表示前i个物品,每种属性的状态奇偶状态为j的最大价值; 这里 ...
- 部署项目到tomcat时 访问项目404的问题总结
使用tomcat服务器运行项目之前 需要把项目发布到(部署)tomcat上,然后启动服务器 运行项目 今天把以往正常运行的项目发布之后,运行时 竟然出现404 关键还不是我路径写错了 而 ...
- 数据库工具——Navicat Premium使用技巧
Navicat Premium 常用功能讲解 1.快捷键 1.1. F8 快速回到当前对象列表 1.2. Ctrl + q 打开查询界面 1.3. Ctrl + d 快速修改当前的表结构 1.4 ...
- H - Can you answer these queries? ( POJ - 3264 )
H - Can you answer these queries? HDU - 4027 思路: 一眼思路:线段树区间修改,区间查询. 发现bug:区间的sqrt无法实现,所以还是相当于对区间的每 ...
- Java-基本输入输出
Scanner sc = new Scanner(System.in); System.out.println("Please input the path:"); String ...