Hadoop编译方法
伪分布式:
hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码)
mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunk hadoop-trunk目录下即就是下载的源码
2.
源码版本和安装的版本应该会不一样,因此先使用默认的hadoop单机配置下。因此引进的是java project,不要依赖分布式。
可以用自己编译出的安装包来进行hadoop的集群安装
在eclipse下编译并调试运行hadoop2.0源码
http://www.devba.com/index.php/archives/1571.html 我爱你,这里讲的比较详细全面
编出的jar包在:
/usr/local/hadooptrunk/hadoop-common/hadoop-dist/target/hadoop-3.0.0-SNAPSHOT/share/hadoop$
相关:
SVN checkout hadoop源码及Maven进行Hadoop源代码编译步骤
http://www.it165.net/admin/html/201309/1860.html
不完整:http://www.cnblogs.com/meibenjin/p/3172889.html
这个是将hadoop-2.1.1-SNAPSHOT.tar.gz安装伪分布式的文档(正确)(我也爱你)
Hadoop单机单节点集群安装配置 http://blog.csdn.net/dingdn/article/details/13000183
当eclipse建立mapreduce project时,DFS显示版本不对。为trunk,最新版本。
对应版本:
http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.2.0/
编译方法应该一样,先编译出来试一下,重点在能在线调试。
明天试一下用新的编出来的包,运行一下伪分布式。
如果能运行,就可以改源代码了
bin/hadoop jar hadoop-examples-1.2.0.jar wordcount /words/input output
结束
eclipse安装maven插件
http://dead-knight.iteye.com/blog/1910783
远程调试新版hadoop:
http://chinahadoop.net/thread-5352-1-1.html
在eclipse下远程调试hadoop2.0 http://www.cnblogs.com/meibenjin/archive/2013/07/07/3175679.html
重要发现:新版的hadoop-2.2.0 和编译的目录完全一致啊 哈哈 这样就可以这个版本进行集群配置,并在此基础上修改源码。只是eclipse的插件要自己编译
(参考而已 新版hadoop配置 和单机单节点差不多http://yangshangchuan.iteye.com/blog/1967994)
下一步:要自己编译eclipse plugin插件
网上还流行一种编译方法:ant build工具
http://www.cnblogs.com/liuxiaojun/archive/2010/09/06/hadoop-003.htmlhttp://blog.csdn.net/dingdn/article/details/13000183
Hadoop编译方法的更多相关文章
- Spark-1.0.1 的make-distribution.sh编译、SBT编译、Maven编译 三种编译方法
fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3775343.html 本文编译方法所支持的hadoop环境是Hadoop-2.2.0, ...
- Genome2D编译方法
Genome2D是一个高效的2D引擎,现在支持Flash(stage3d)和HTML5,因为只有作者一个人在维护,就没开源代码. 最近和作者沟通了下,已经开源啦. 作者划分了几个模块,编译起来不是特别 ...
- 详细地jsoncpp编译方法 和 vs2010中导入第三方库的方法
详细地jsoncpp编译方法 和 vs2010中导入第三方库的方法 一 编译链接 1 在相应官网下载jsoncpp 2 解压得到jsoncpp-src-0.5.0文件 3 打开jsoncpp-src- ...
- (DT系列一)DTS结构及其编译方法
DTS结构及其编译方法 一:主要问题 1,需要了解dtsi与dts的关系 2,dts的结构模型 3,dts是如何被编译的,以及编译后会生成一个什么文件. 二:参考文字 1,DTS(device tre ...
- 【转】(DT系列一)DTS结构及其编译方法----不错
原文网址:http://www.cnblogs.com/biglucky/p/4057476.html DTS结构及其编译方法 一:主要问题 1,需要了解dtsi与dts的关系 2,dts的结构模型 ...
- osip及eXosip的编译方法
osip及eXosip的编译方法 在最新版本的osip2.exosip2中不支持在VC6.0下编译osip.exosip协议栈的方法 说明: 1.以下文章中的osip版本为3.1.0 2.eXosip ...
- 简单的Android之apk包反编译方法
网上相关的文章一大堆了,我只是总结下自己的反编译方法和工具 工具下载地址: http://download.csdn.net/detail/zsjangel/7104663 下载上面的三个工具的压缩包 ...
- sass学习笔记 -- sass的四种编译方法
sass的四种编译方法:(.scss) (一)ruby下的命令行编译 首先需要安装ruby,注意需勾选Add Ruby executables to your PATH选项,以添加环境变量. ruby ...
- (转)wxWidgets 2.9.2svn(3.x)最小体积编译方法
官方论坛.网上记录的wxWidgets编译方法,会导致编译后的程序库非常大,原因在于对编译的方法选择不当.下面简单总结一下如何编译最新的SVN代码.下载最新源码(每日构建):http://biolpc ...
随机推荐
- thinkphp5学习(一)——thinkphp5的目录结构与开发规范
开发规范: 目录和文件 目录使用小写+下划线: 类库.函数文件统一以.php为后缀: 类的文件名均以命名空间定义,并且命名空间的路径和类库文件所在路径一致: 类文件采用驼峰法命名(首字母大写),其它文 ...
- CentOS 7修改网卡名称
CentOS 7 修改网卡名为eth0 标签: linux 笔者Q:972581034 交流群:605799367.有任何疑问可与笔者或加群交流 CentOS7的网卡名称太长,这不符合我们的使用习惯, ...
- word文字覆盖问题
我们在编写word文档时,偶尔会遇到这个问题: 在一个段落中的某个位置修改文字时,直接就把后面的字体给覆盖了,导致后面的句子也不完整了. 解决经过: 之前遇到这种情况,非常恼火,直接新建一个word文 ...
- unicode文件处理(如果是ANSI编码就不需要了)
1.unicode文件的打开必须用rb模式. 3.wchar_t str[100] = { 0 }; 这个占200个字节. 2.宽字符对应的处理 fgetc fgetwc fputc fputwc f ...
- [DeeplearningAI笔记]改善深层神经网络1.4_1.8深度学习实用层面_正则化Regularization与改善过拟合
觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.4 正则化(regularization) 如果你的神经网络出现了过拟合(训练集与验证集得到的结果方差较大),最先想到的方法就是正则化(re ...
- C#基础(二)--之数据类型
在第一章我们了解了C#的输入.输出语句后,我这一节主要是介绍C#的基础知识,本节的内容也是后续章节的基础,好的开端等于成功的一半.在你阅读完本章后,你就有足够的C#知识编写简单的程序了.但还不能使用继 ...
- SQLServer2008修改sa密码的方法与SQL server 2008数据库的备份与还原
sa密码的修改转载自:http://blog.csdn.net/templar1000/article/details/20211191 SQL server 2008数据库的备份与还原转自 :htt ...
- ABP官方文档翻译 9.1 EntityFramework集成
EntityFramework集成 Nuget包 DbContext 仓储 默认仓储 自定义仓储 应用特定的基础仓储类 自定义仓储示例 仓储最佳实践 事务管理 数据存储 ABP可以使用ORM框架,它内 ...
- 2017年总结的前端文章——一劳永逸的搞定 flex 布局
flex 基本概念 使用 flex 布局首先要设置父容器 display: flex,然后再设置 justify-content: center 实现水平居中,最后设置 align-items: ce ...
- hive权威指南<一>
一.ETL介绍: 数据抽取:把不同的数据源数据抓取过来,存到某个地方 数据清洗:过滤那些不符合要求的数据或者修正数据之后再进行抽取 不完整的数据:比如数据里一些应该有的信息缺失,需要补全后再写入数据仓 ...