一、设置Eclipse运行用户
    如果以与Hadoop运行用户名(比如grid)不同的用户运行Eclipse,则无法对Hadoop运行用户所属的文件进行管理,运行Map/Reduce程序也会报“org.apache.hadoop.security.AccessControlException:Permission denied”错误。

 
1、新建Windows用户grid,密码是grid
在Powershell中运行:
#Windows命令提示符下创建用户,并设置密码永不过期 http://zhcxl.blog.51cto.com/211202/841964
net user grid grid /add /comment:"模拟Hadoop运行用户" /passwordchg:no
 
#将用户密码配置为永不过期 http://technet.microsoft.com/zh-cn/library/hh967633.aspx
cmd /c "wmic.exe Path Win32_UserAccount Where Name=""grid"" Set PasswordExpires=""FALSE"" "

 
 
2、以用户grid运行eclipse
(1)、临时方法:
按住Shift键再右击eclipse.exe程序,会出现“以其他用户身份运行”选项,点击之。
 
输入用户名和密码,点击“确定”
 
(2)、永久方法:
在Eclipse根目录下新建一个grid-eclipse.bat文件,内容为
runas /user:grid /savecred %~dp0\eclipse.exe

以后就运行这个脚本来启动eclipse。
只有第一次运行时需要输入密码,以后就不用了。
 
 
 
二、重编译Hadoop安装目录中的hadoop-core-*.jar
不修改的话运行Map/Reduce程序会报“ERROR security.UserGroupInformation: PriviledgedActionException ”错误

方法A:修改FileUtil权限控制源码并重新编译
1、在Linux平台上重新编译Hadoop项目
##下载解压Ant
cd /usr/local/src
wget -nc http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.2-bin.tar.gz
tar -zxvf apache-ant-[0-9]*-bin.tar.gz
 
mv apache-ant-[0-9]*[^z] /usr/local/apache-ant
chown -R grid:grid /usr/local/apache-ant

##解压一份Hadoop用于编译
cd /usr/local/src
tar -zxf hadoop-[0-9]*[0-9].tar.gz
mv hadoop-[0-9]*[0-9] hadoop_for_build
chown -R grid:grid /usr/local/src/hadoop_for_build

##修改FileUtil.java注释掉checkReturnValue的判断
cd /usr/local/src/hadoop_for_build
cp -n -p src/core/org/apache/hadoop/fs/FileUtil.java src/core/org/apache/hadoop/fs/FileUtil.java.save

sed -i '/private static void checkReturnValue/,/private static void execSetPermission/s/!rv/1!=1/' \
src/core/org/apache/hadoop/fs/FileUtil.java

##获得Hadoop版本
HADOOP_VERSION=`grep "Release" CHANGES.txt | sed 1q | awk '{print $2}'`

##备份hadoop-core-*.jar包,以后会被Eclipse的Map/Reduce程序覆盖
cp -p hadoop-core-$HADOOP_VERSION.jar hadoop-core-$HADOOP_VERSION.jar.bak

##修改源码编译的版本,默认是带SNAPSHOT的
sed -i 's@\(<property name="version" value="\)1.2.2-SNAPSHOT\("/>\)@\1'"$HADOOP_VERSION"'\2@' \
build.xml

 
##使用Ant重新编译hadoop的jar包
cd /usr/local/src/hadoop_for_build
time /usr/local/apache-ant/bin/ant 1> /tmp/ant.log
 
 
##检查编译结果
cat /tmp/ant.log | grep error
tail -n10 /tmp/ant.log
rm -f /tmp/ant.log

ls build

 
2、将Linux上编译出来hadoop-core重命名并覆盖Windows上Hadoop安装目录中的hadoop-core-*.jar


方法B:设置dfs.permissions参数为False
1、在所有节点上运行以下命令:
grep -q "dfs.permissions" $HADOOP_CONF_DIR/hdfs-site.xml
sed -i '/<\/configuration>/i\
<property>\
<name>dfs.permissions</name>\
<value>false</value>\
</property>\
' \
$HADOOP_CONF_DIR/hdfs-site.xml


 
 
三、加载插件,打开Map/Reduce Perspective
 
 
 
四、设置Hadoop安装目录
 
 
 
 
五、配置Map/Reduce Locations
 
选择Map/Reduce Perspective中下方的“Map/Reduce Location”
 
在空白处右击,选择“New Hadoop location...”
 
 
填写Location参数,点击“Finish”
 
 
 
六、检查配置
浏览左边的DFS Locations,尝试能否增删文件,确定权限是否正确。
 
参考资料:
Hadoop学习笔记(九):如何在windows上使用eclipse远程连接hadoop进行程序开发 http://www.cnblogs.com/beanmoon/archive/2013/01/05/2845579.html
 
 
 
 
 
 

使用Windows上Eclipse远程调试Linux上的Hadoop的更多相关文章

  1. 使用Windows上的Eclipse 远程调试 linux下的Tomcat

    1:修改Linux上Tomcat的catalina.sh,第一行添加declare -x CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_sock ...

  2. 使用xdebug+eclipse远程调试centOS7上的PHP代码

    这两天一直在研究PHP代码的调试,原来开发一直用的var_dump,麻烦! 最近发现能使用xdebug+eclipse远程单步调试PHP,但是百度后实现此技术的文章都写得不够具体. 我照着这里零散的文 ...

  3. windows下Eclipse远程连接linux hadoop远程调试 经验(一)

    环境 Windows 7 64bit JDK 1.6.0_45  (i586) JDK 1.7.0_51  (i586) Eclipse Kepler Eclipse -plugin-1.2.1.ja ...

  4. eclipse远程调试Linux环境下的web项目

    前提: 远程服务器上的代码和本地的代码同步 第一步 : 配置远程服务器下的startup.sh文件 在第一行添加 : declare -x CATALINA_OPTS="-server -X ...

  5. Eclipse远程调试+FTPClient在jdk6以上写法不兼容问题的排查

    业务场景: 应业务新需求的UAT测试,需要部署一份新tomcat到测试环境.新环境正常启动并运行了一天,没太大差错.但今天发现原本在另一个老的tomcat下运行的好好的FTP上传文件模块突然出了问题. ...

  6. 转载:JProfiler远程监控LINUX上的Tomcat过程细讲

    来源于xuwanbest的博客   所谓"工欲善其事,必先利其器",好的工具确能起到事半工倍的作用.我用到的最多的就两个JConsole 和JProfiler .JConsole监 ...

  7. JProfiler远程监控Linux上Tomcat的安装过程细讲(步骤非常详细!!!)

    JProfiler远程监控Linux上Tomcat的安装过程细讲(步骤非常详细!!!) 1.文件准备: 服务器:CentOS Linux release 7.3.1611 (Core)     Apa ...

  8. Linux下使用Eclipse 远程调试

    1 开启端口 修改/apache-tomcat-7.0.40/bin/catalina.sh 在合适的位置(请自行判断,只要有JAVA_OPTS的设定前后即可)插入下面的设定:UI_DEBUG=&qu ...

  9. 远程调试 Azure 上的 Website

    让我们先检查一下使用的 Azure SDK 版本和 Visual Studio 版本.根据MSDN的介绍,Azure 的远程调试功能是在 Azure SDK 2.2 中加入的,所以请确保您的机器上安装 ...

随机推荐

  1. 15.3 Task 语法和语义

    15.3.1 声明异步方法和返回类型 async static void GetStringAsync() { using (var client = new HttpClient()) { Task ...

  2. 洛谷P1601 A+B Problem(高精)

    题目描述 高精度加法,x相当于a+b problem,[b][color=red]不用考虑负数[/color][/b] 输入输出格式 输入格式: 分两行输入a,b<=10^500 输出格式: 输 ...

  3. nyoj22-素数求和问题

    素数求和问题 时间限制:3000 ms  |  内存限制:65535 KB 难度:2 描述 现在给你N个数(0<N<1000),现在要求你写出一个程序,找出这N个数中的所有素数,并求和. ...

  4. 继续聊WPF——Expander控件(2)

    <Window x:Class="Expander_Sample2.Window1" xmlns="http://schemas.microsoft.com/win ...

  5. 1.IDEA的安装

    .1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.

  6. 【[Offer收割]编程练习赛11 B】物品价值

    [题目链接]:http://hihocoder.com/problemset/problem/1486 [题意] [题解] 设f[i][j]表示前i个物品,每种属性的状态奇偶状态为j的最大价值; 这里 ...

  7. 部署项目到tomcat时 访问项目404的问题总结

    使用tomcat服务器运行项目之前  需要把项目发布到(部署)tomcat上,然后启动服务器  运行项目 今天把以往正常运行的项目发布之后,运行时   竟然出现404  关键还不是我路径写错了   而 ...

  8. 数据库工具——Navicat Premium使用技巧

    Navicat Premium 常用功能讲解 1.快捷键 1.1. F8 快速回到当前对象列表  1.2. Ctrl + q 打开查询界面  1.3. Ctrl + d 快速修改当前的表结构  1.4 ...

  9. H - Can you answer these queries? ( POJ - 3264 )

    H - Can you answer these queries? HDU - 4027   思路: 一眼思路:线段树区间修改,区间查询. 发现bug:区间的sqrt无法实现,所以还是相当于对区间的每 ...

  10. Java-基本输入输出

    Scanner sc = new Scanner(System.in); System.out.println("Please input the path:"); String ...