在我们学习或者工作中开始hadoop程序的时候,往往会遇到一个问题,我们写好的程序需要打成包放在集群中运行,这无形中在浪费我们的时间,因为程序可以需要不断的调试,然后把最终程序放在集群中即可。为了解决这个问题,现在我们配置远程连接hadoop,远程调试的方法。

一段程序如下:获取更多大数据视频资料请加QQ群:947967114

 

 

 

当我们在运行的时候会有如下众多的错误:

1、基础环境配置:首先需要注意自己使用的hadoop的版本:

 

这说明是2.6.0的所以需要下载一个连接包:hadoop-eclipse-plugin-2.6.0.jar,一定要注意根据自己的版本下载不同的连接包。放在myeclipse的安装路径下:D:\Program Files\Myeclipse-10

 

Myeclipse-10和其他版本不同,是有两个目录的:其他版本只有一个目录,直接进入找到plugins即可。这里需要进入Common中找到plugins中,把连接包放在其中即可:

 

然后把Myeclipse重启。我们这个时候就可以进行hadoop的工程配置了:按照顺序点击:

 

在Browse中把解压好的hadoop包引入进来,只引入到主目录即可:然后就可以创建hadoop的,mapreduce工程了:获取更多大数据视频资料请加QQ群:947967114

 

 

完成后可以看到众多的依赖包都自动进入了:

 

然后我们配置远程连接hadoop的目录:

 

新建一个:

 

经过配置之后可以看到如下界面:

 

能够感受到已经连接到了hadoop的目录了:

2、Exception in thread “main” java.lang.NullPointerException atjava.lang.ProcessBuilder.start

运行是出现如上错误:

 

这个问题是Hadoop2以上版本,Hadoop2的bin目录中没有winutils.exe导致的错误。所以需要下载对应的包:

 

注意一定要是64位的现在很少32位的了:如果两个版本都可以:解压并且把包里的所有内容都复制出来分别放在自己的hadoop的bin解压目录中:

 

然后把myeclipse对应的hadoop文件重新引入一:获取更多大数据视频资料请加QQ群:947967114

 

3、Exception in thread "main"java.lang.UnsatisfiedLinkError:

 

4、main ExitCodeException

 

这是因为window本地的hadoop没有winutils.exe导致的.原来本地hadoop要去调用这个程序.我们先把上一部的winutils.exe文件中例如hadoop.dll等所有文件都放到c:\windows\System32,然后使得其运行没错才可以.

然而winutils.exe还是无法启动,这个是某些电脑问题.有些人会遇到,双击winutils.exe运行报错,缺少msvcr120.dll.下载之后再去启动提示,“应用程序无法正常启动0xc000007b”.这是内存错误引起的.下载DirectX_Repair修复directx解决问题,最后成功启动了hadoop程序.

可能能够启动winutils.exe但还是不能正常跑应用程序,依然报错,可以试试修改权限验证.

修改hadoop/etc/hadoop/hdfs-site.xml

添加内容:

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

5、atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access遇到这个问题是由于源码文件中需要更改:首先去官网下载hadoop-2.6.0-src.tar.gz源码包,解压:hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project,然后修改557行为return true如图所示:

 

6、org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output"这是由于访问权限的问题。

有两种解决方式:第一种把hadoop的目录的权限扩大:例如 hadoop chmod -R 777 /,都给所有权限。第二种方式是修改配置文件。去掉检查权限的步骤:在这个etc/hadoop下的hdfs-site.xml添加

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

7.获取更多大数据视频资料请加QQ群:947967114

大数据调错系列之:自己总结的myeclipse连接hadoop会出现的问题的更多相关文章

  1. 大数据调错系列之hadoop在开发工具控制台上打印不出日志的解决方法

    (1)在windows环境上配置HADOOP_HOME环境变量 (2)在eclipse上运行程序 (3)注意:如果eclipse打印不出日志,在控制台上只显示 1.log4j:WARN No appe ...

  2. 大数据入门基础系列之Hadoop1.X、Hadoop2.X和Hadoop3.X的多维度区别详解(博主推荐)

    不多说,直接上干货! 在前面的博文里,我已经介绍了 大数据入门基础系列之Linux操作系统简介与选择 大数据入门基础系列之虚拟机的下载.安装详解 大数据入门基础系列之Linux的安装详解 大数据入门基 ...

  3. 大数据之ES系列——第一篇 ElasticSearch2.2 集群安装部署

    第一部分  安装准备 准备三台主机节点: hc11.spads  192.168.160.181 hc12.spads  192.168.160.182 hc13.spads  192.168.160 ...

  4. 面试系列二:精选大数据面试真题JVM专项-附答案详细解析

    公众号(五分钟学大数据)已推出大数据面试系列文章-五分钟小面试,此系列文章将会深入研究各大厂笔面试真题,并根据笔面试题扩展相关的知识点,助力大家都能够成功入职大厂! 大数据笔面试系列文章分为两种类型: ...

  5. 大数据Spark超经典视频链接全集

    论坛贴吧等信息发布参考模板 Scala.Spark史上最全面.最详细.最彻底的一整套视频全集(特别是机器学习.Spark Core解密.Spark性能优化.Spark面试宝典.Spark项目案例等). ...

  6. 王家林 大数据Spark超经典视频链接全集[转]

    压缩过的大数据Spark蘑菇云行动前置课程视频百度云分享链接 链接:http://pan.baidu.com/s/1cFqjQu SCALA专辑 Scala深入浅出经典视频 链接:http://pan ...

  7. 图解大数据 | 海量数据库查询-Hive与HBase详解

    作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...

  8. HTML5大数据可视化效果(二)可交互地铁线路图

    前言 最近特别忙,承蒙大伙关照,3D机房的项目一个接着一个,领了一帮小弟,搞搞传帮带,乌飞兔走,转眼已经菊黄蟹肥……有个小弟很不错,勤奋好学,很快就把API都摸透了,自己折腾着做了个HTML5的魔都的 ...

  9. 王家林 Spark公开课大讲坛第一期:Spark把云计算大数据速度提高100倍以上

    王家林 Spark公开课大讲坛第一期:Spark把云计算大数据速度提高100倍以上 http://edu.51cto.com/lesson/id-30815.html Spark实战高手之路 系列书籍 ...

随机推荐

  1. Hive命令 参数

    1.hive -h     显示帮助 2.hive -h hiveserverhost -p port     连接远程hive服务器 3.hive --define a=1 --hivevar b= ...

  2. OpenLDAP 2.4 禁止匿名用户访问

    ldapmodify -Q -Y EXTERNAL -H ldapi:/// <<EOF dn: cn=config changetype: modify add: olcDisallow ...

  3. Latex 数学公式使用入门

    Latex 数学公式使用示例 Latex 数学公式命令中,数学符号都使用反斜杠(backslash, '\')转义英文缩略词 , 一些简单的数学符号命令: 其使用大括号(curly braces, ' ...

  4. Maven环境变量配置和在Eclipse中的配置

    1.Maven环境变量配置 M2_HOME :变量值为maven的安装目录 在path后添加%M2_HOME%\bin; 检查JDK,maven配置的cmd命令 echo %JAVA_HOME% ja ...

  5. 创建和修改 ExpressRoute 线路的对等互连

    本文将指导你执行相关步骤,以便使用 Azure 门户和 Resource Manager 部署模型创建和管理 ExpressRoute 线路的路由配置. 配置先决条件 在开始配置之前,请务必查看先决条 ...

  6. makedown 软件

    windows上的新手使用makedownpad 很适合的 下载之后你需要激活makedownpad MarkdownPad 2 Pro 注册码(邮箱+许可密钥) 邮箱 Soar360@live.co ...

  7. Python学习---Django的request.post源码分析

    request.post源码分析: 可以看到传递json后会帮我们dumps处理一次最后一字节形式传递过去

  8. php实现随机数字、字母的验证码

     php实现随机数字.字母的验证码 可自定义生成验证码文字的大小.数量.干扰项等等,也可以自定义验证文字的字体... 废话不多说,直接上代码: 1.classgd.class.php <?php ...

  9. Hadoop HA on Yarn——集群启动

    这里分两部分,第一部分是NameNode HA,第二部分是ResourceManager HA (ResourceManager HA是hadoop-2.4.1之后加上的) NameNode HA 1 ...

  10. T440安装Win7系统

    于T440自带的是Win8系统,硬盘格式为GPT分区格式,而Win7必须要MRP格式,所以必须要将硬盘格式从GPT修改为MRP,方法如下: 准备工作,下载”电脑店U盘启动盘制作工具“(百度一下,去官网 ...