Eclipse同maven进口hadoop源代码

1)  安装和配置maven环境变量

M2_HOME: D:\profession\hadoop\apache-maven-3.3.3

PATH: %M2_HOME%\bin;

2)  验证:mvn –version

3)  下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip

4)  将protoc-2.5.0-win32中的protoc.exe复制到c:\windows\system32中

5)  将protoc.exe文件复制到解压后的XXX\protobuf-2.5.0\src文件夹中

6)  进入XXX\protobuf-2.5.0\java 文件夹

运行【mvn package】命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target文件夹中)。

(注:有可能报一大堆error。能够删除文件,又一次解压缩。又一次运行【mvn package】命令就OK了)

输出信息:[INFO] BUILD SUCCESS

7)  验证:protoc –version

8)  配置protoc.exe的path路径,并重新启动计算机

9)  下载maven包hadoop-2.5.2-src.tar.gz

10)     cmd进入hadoop-maven-plugins文件夹,

执行mvn install

输出信息:[INFO] BUILD SUCCESS

11)     cmd进入hadoop-2.5.2-src文件夹,

执行mvn eclipse:eclipse –DskipTests

输出信息:[INFO] BUILD SUCCESS

12)     eclipse。选择import maven projects。点击Browse… 选择hadoop源代码根文件夹。导入各个项目

13)     一大锥报错,右键,maven,disabledependency management, enable dependency management,之后仅仅剩余common包报错

14)     project->buildautomacilly,取消maven自己主动编译同步

15) Q:Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.5.2:protoc(compile-protoc) on project hadoop-                                   common:org.apache.maven.plugin.MojoExecutionException:
'protoc --version' did notreturn a version

A:这个要分两种情况看。第一种情况可能是因为没有安装或者安装不成功protobuf程序导致的。另外一种情况,已经安装成功了                  protobuf程序,protoc -–version也成功的返回了版本,可是还是报上述异常,这样的情况通常是因为没有配置protoc的path路             径导致的

16)自从把hadoop版本号选成了2.5.2版本号之后就開始悲剧了,网上可供借鉴的资料聊聊无几,由于自己的路,因此,在你选择的时间版本号,或选择更加成熟的版本公开easy一些

版权声明:本文博客原创文章,博客,未经同意,不得转载。

hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源代码的更多相关文章

  1. Hadoop 学习笔记 (八) hadoop2.2.0 测试环境部署 及两种启动方式

    1基本流程步骤1:准备硬件(linux操作系统)步骤2:准备软件安装包,并安装基础软件(主要是JDK)步骤3:修改配置文件步骤4:分发hadoop步骤5:启动服务步骤6:验证是否启动成功!2硬件配置要 ...

  2. Hadoop 学习笔记 (九) hadoop2.2.0 生产环境部署 HDFS HA部署方法

    step1:将安装包hadoop-2.2.0.tar.gz存放到某一个目录下,并解压 step2:修改解压后的目录中的文件夹/etc/hadoop下的xml配置文件(如果文件不存在,则自己创建) 包括 ...

  3. Hadoop学习笔记四

    一.fsimage,edits和datanode的block在本地文件系统中位置的配置 fsimage:hdfs-site.xml中的dfs.namenode.name.dir  值例如file:// ...

  4. Hadoop 学习笔记 (十) hadoop2.2.0 生产环境部署 HDFS HA Federation 含Yarn部署

    其他的配置跟HDFS-HA部署方式完全一样.但JournalNOde的配置不一样>hadoop-cluster1中的nn1和nn2和hadoop-cluster2中的nn3和nn4可以公用同样的 ...

  5. Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...

  6. hadoop学习笔记(四):HDFS文件权限,安全模式,以及整体注意点总结

    本文原创,转载注明作者和原文链接! 一:总结注意点: 到现在为止学习到的角色:三个NameNode.SecondaryNameNode.DataNode 1.存储的是每一个文件分割存储之后的元数据信息 ...

  7. Maven学习笔记-03-Eclipse下maven项目在Tomcat7和Jetty6中部署调试

    现在最新的Eclipse Luna Release 已经内置了Maven插件,这让我们的工作简洁了不少,只要把项目直接导入就可以,不用考虑插件什么的问题,但是导入之后的项目既可以部署在Tomcat也可 ...

  8. Maven学习笔记-04-Eclipse下maven项目在Tomcat7和Jetty6中部署调试

    现在最新的Eclipse Luna Release 已经内置了Maven插件,这让我们的工作简洁了不少,只要把项目直接导入就可以,不用考虑插件什么的问题,但是导入之后的项目既可以部署在Tomcat也可 ...

  9. hadoop学习笔记-目录

    以下是hadoop学习笔记的顺序: hadoop学习笔记(一):概念和组成 hadoop学习笔记(二):centos7三节点安装hadoop2.7.0 hadoop学习笔记(三):hdfs体系结构和读 ...

随机推荐

  1. 分析Net 内存对象

    .Net 内存对象分析   在生产环境中,通过运行日志我们会发现一些异常问题,此时,我们不能直接拿VS远程到服务器上调试,同时日志输出的信息无法百分百反映内存中对象的状态,比如说我们想查看进程中所有的 ...

  2. 结合Wireshark捕获分组深入理解TCP/IP协议之IP协议

    摘要:     本文简单介绍了网络层理论知识,详细讲解了IP数据报各个字段,并从Wireshark俘获分组中选取IP数据报进行分析,也阐述了分组和分片的区别.   一.IPv4数据报     网络层是 ...

  3. SetForegroundWindow

    SetForegroundWindow 函数功能:该函数将创建指定窗口的线程设置到前台,并且激活该窗口.键盘输入转向该窗口,并为用户改各种可视的记号.系统给创建前台窗口的线程分配的权限稍高于其他线程. ...

  4. [D3] Convert Dates to Numeric Values with Time Scales in D3 v4

    Mapping abstract values to visual representations is what data visualization is all about, and that’ ...

  5. php面试题6

    php面试题6 一.总结 二.php面试题6 写出你认为语言中的高级函数:1)preg_replace()2)preg_match()3) ignore_user_abort()4) debug_ba ...

  6. html css div img垂直居中

    <head> <meta charset="UTF-8"> <meta name="Generator" content=&quo ...

  7. css3-2 CSS3选择器和文本字体样式

    css3-2   CSS3选择器和文本字体样式 一.总结 一句话总结:是要记下来的,记下来可以省很多事. 1.css的基本选择器中的:first-letter和:first-line是什么意思? :f ...

  8. 解决Centos7 下 root账号 远程连接FTP,vsftpd 提示 530 Login incorrect 问题

    原文:解决Centos7 下 root账号 远程连接FTP,vsftpd 提示 530 Login incorrect 问题 三步走: 1.vim /etc/vsftpd/user_list 注释掉 ...

  9. js进阶 11-4/5 jquery中css的类的操作有哪些

    js进阶 11-4/5  jquery中css的类的操作有哪些 一.总结 一句话总结:jquery中css的类的操作有增删切三种. 1.jquery中css的类的操作有哪些? 增删切三种 addCla ...

  10. MySQL经常使用的面试题

    1.怎样登陆mysql数据库 MySQL -u username -p 2.怎样开启/关闭mysql服务 service mysql start/stop 3.查看mysql的状态 service m ...