Eclipse集成Hadoop插件

一.Eclipse集成Hadoop插件

　　1.在这之前我们需要配置真机上的hadoop环境变量

注：在解压tar包的时候普通解压会出现缺文件的现象，所以在这里我们需要用管理员的方式启动我们的解压软件（我用的是winRAR）

之后在真机中打开cmd输入：hadoop version

注：在这里提醒一下，因为hadoop的环境变量中不可以出现空格，就导致jdk环境变量也不可以有空格，所以这样配置容易出现问题。我们可以修改一下：

把原有的%JAVA_HOME%改成你jdk的路径。记得用双引号引起来哦

　　2.下载插件：hadoop-eclipse-plugin-2.6.0.jar

把插件放到eclipse安装目录下的plugins文件下

　　3.启动eclipse

　　3.1.找到自己的hadoop安装位置

　　3.2.eclipse中显示插件的页面

这样文件中的东西就显示出来了

　　3.3.使用eclipse创建并运行wordcount程序

在hadoop-mapreduce-examples-2.8.0-sources\org\apache\hadoop\examples这个文件夹下面找到

　　3.4.之后右键点击Run As

　　3.5.配置参数

　　3.6.得到了我们想要的结果

2.在运行过程中如果出现以下问题：

问题1：

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

解决方案：

有可能是本机的hadoop/bin目录下缺少hadoop.dll和winutils.exe等文件，

那么下载下面的压缩包，把压缩包中的所有文件放进hadoop/bin中！

https://pan.baidu.com/s/1RlDJXv0C8x8Qyvjo2ISAVA
pst2

然后在hadoop-2.8.0\share\hadoop\common\sources文件夹中找到hadoop-common-2.8.0-sources.jar

解压hadoop-common-2.8.0-sources.jar找到

hadoop-common-2.8.0-sources\org\apache\hadoop\io\nativeio\NativeIO.java 文件

把这个NativeIO.java 复制到自己的项目中

之后运行即可

问题2：

org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x

在集群中运行：

hadoop fs -chmod -R 777 /

来解决权限问题

　　3.7.使用eclipse打成jar包发布到linux中运行

之后把打成的jar扔到linux上

运行完毕之后，在eclipse中查看效果图！