hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源代码
Eclipse同maven进口hadoop源代码
1) 安装和配置maven环境变量
M2_HOME: D:\profession\hadoop\apache-maven-3.3.3
PATH: %M2_HOME%\bin;
2) 验证:mvn –version
3) 下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip
4) 将protoc-2.5.0-win32中的protoc.exe复制到c:\windows\system32中
5) 将protoc.exe文件复制到解压后的XXX\protobuf-2.5.0\src文件夹中
6) 进入XXX\protobuf-2.5.0\java 文件夹
运行【mvn package】命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target文件夹中)。
(注:有可能报一大堆error。能够删除文件,又一次解压缩。又一次运行【mvn package】命令就OK了)
输出信息:[INFO] BUILD SUCCESS
7) 验证:protoc –version
8) 配置protoc.exe的path路径,并重新启动计算机
9) 下载maven包hadoop-2.5.2-src.tar.gz
10) cmd进入hadoop-maven-plugins文件夹,
执行mvn install
输出信息:[INFO] BUILD SUCCESS
11) cmd进入hadoop-2.5.2-src文件夹,
执行mvn eclipse:eclipse –DskipTests
输出信息:[INFO] BUILD SUCCESS
12) eclipse。选择import maven projects。点击Browse… 选择hadoop源代码根文件夹。导入各个项目
13) 一大锥报错,右键,maven,disabledependency management, enable dependency management,之后仅仅剩余common包报错
14) project->buildautomacilly,取消maven自己主动编译同步
15) Q:Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.5.2:protoc(compile-protoc) on project hadoop- common:org.apache.maven.plugin.MojoExecutionException:
'protoc --version' did notreturn a version
A:这个要分两种情况看。第一种情况可能是因为没有安装或者安装不成功protobuf程序导致的。另外一种情况,已经安装成功了 protobuf程序,protoc -–version也成功的返回了版本,可是还是报上述异常,这样的情况通常是因为没有配置protoc的path路 径导致的
16)自从把hadoop版本号选成了2.5.2版本号之后就開始悲剧了,网上可供借鉴的资料聊聊无几,由于自己的路,因此,在你选择的时间版本号,或选择更加成熟的版本公开easy一些
版权声明:本文博客原创文章,博客,未经同意,不得转载。
hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源代码的更多相关文章
- Hadoop 学习笔记 (八) hadoop2.2.0 测试环境部署 及两种启动方式
1基本流程步骤1:准备硬件(linux操作系统)步骤2:准备软件安装包,并安装基础软件(主要是JDK)步骤3:修改配置文件步骤4:分发hadoop步骤5:启动服务步骤6:验证是否启动成功!2硬件配置要 ...
- Hadoop 学习笔记 (九) hadoop2.2.0 生产环境部署 HDFS HA部署方法
step1:将安装包hadoop-2.2.0.tar.gz存放到某一个目录下,并解压 step2:修改解压后的目录中的文件夹/etc/hadoop下的xml配置文件(如果文件不存在,则自己创建) 包括 ...
- Hadoop学习笔记四
一.fsimage,edits和datanode的block在本地文件系统中位置的配置 fsimage:hdfs-site.xml中的dfs.namenode.name.dir 值例如file:// ...
- Hadoop 学习笔记 (十) hadoop2.2.0 生产环境部署 HDFS HA Federation 含Yarn部署
其他的配置跟HDFS-HA部署方式完全一样.但JournalNOde的配置不一样>hadoop-cluster1中的nn1和nn2和hadoop-cluster2中的nn3和nn4可以公用同样的 ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- hadoop学习笔记(四):HDFS文件权限,安全模式,以及整体注意点总结
本文原创,转载注明作者和原文链接! 一:总结注意点: 到现在为止学习到的角色:三个NameNode.SecondaryNameNode.DataNode 1.存储的是每一个文件分割存储之后的元数据信息 ...
- Maven学习笔记-03-Eclipse下maven项目在Tomcat7和Jetty6中部署调试
现在最新的Eclipse Luna Release 已经内置了Maven插件,这让我们的工作简洁了不少,只要把项目直接导入就可以,不用考虑插件什么的问题,但是导入之后的项目既可以部署在Tomcat也可 ...
- Maven学习笔记-04-Eclipse下maven项目在Tomcat7和Jetty6中部署调试
现在最新的Eclipse Luna Release 已经内置了Maven插件,这让我们的工作简洁了不少,只要把项目直接导入就可以,不用考虑插件什么的问题,但是导入之后的项目既可以部署在Tomcat也可 ...
- hadoop学习笔记-目录
以下是hadoop学习笔记的顺序: hadoop学习笔记(一):概念和组成 hadoop学习笔记(二):centos7三节点安装hadoop2.7.0 hadoop学习笔记(三):hdfs体系结构和读 ...
随机推荐
- Apache多虚拟主机多版本PHP(5.3+5.6+N)共存运行配置全过程
摘要: 为需要实现在同一台Linux服务器上面,同时运行多个不同版本的PHP程序,本文我们将使用FastCGI方式加载,并把过程详细记录下来方便大家参考. 常规的PHP配置方式有很多种,例如CGI.f ...
- [TypeStyle] Generate static css + html files using TypeStyle
You can easily use TypeStyle to build static html files with encapsulated CSS. You can use this patt ...
- css3-10 如何控制元素的显示和隐藏(display和visibility的区别是什么)
css3-10 如何控制元素的显示和隐藏(display和visibility的区别是什么) 一.总结 一句话总结:使用的时候直接在元素的样式中设置display和visibility属性即可.推荐使 ...
- stm32的pwm波
- php 静态方法和非静态方法的调用说明
1. php类中,静态方法调用当前类的非静态方法必须用self关键字,不能用$this 2. php类中,公有方法调用私有方法使用$this关键字,只能实例化调用 3. php类中,公有方法调用私有方 ...
- POJ 3627 Bookshelf 贪心 水~
最近学业上堕落成渣了.得开始好好学习了. 还有呀,相家了,好久没回去啦~ 还有和那谁谁谁... 嗯,不能发表悲观言论.说好的. 如果这么点坎坷都过不去的话,那么这情感也太脆弱. ----------- ...
- word多出空标题,样式是列出段落 - -显示时,选择不勾选“隐藏文字”
word多出空标题,样式是列出段落
- 小梦词典WP8.1应用发布
这几天一直在做这款应用,今天终于发布了! 小梦词典简介: 小梦词典是一款永久免费无广告的网络词典. 支持英汉单词查询: 支持中,英,法,韩,德,俄,日七国语言翻译,多语言极致体验: 支持生词本记忆,查 ...
- Matlab图像处理系列4———图像傅立叶变换与反变换
注:本系列来自于图像处理课程实验.用Matlab实现最主要的图像处理算法 1.Fourier变换 (1)频域增强 除了在空间域内能够加工处理图像以外.我们还能够将图像变换到其它空间后进行处理.这些方法 ...
- ionic新手教程第三课-在项目中使用requirejs分离controller文件和server文件
继上篇教程中提到的,我们新建一个简单的tabs类型的Ionic项目. 依据文件夹文件我们知道,系统自己主动创建了一个controller文件和server文件,而且把全部的控制器和服务都写到这两个文件 ...