伪分布式:
hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码)
mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunk hadoop-trunk目录下即就是下载的源码

2.

源码版本和安装的版本应该会不一样,因此先使用默认的hadoop单机配置下。因此引进的是java project,不要依赖分布式。





可以用自己编译出的安装包来进行hadoop的集群安装

在eclipse下编译并调试运行hadoop2.0源码

http://www.devba.com/index.php/archives/1571.html  我爱你,这里讲的比较详细全面

编出的jar包在:

/usr/local/hadooptrunk/hadoop-common/hadoop-dist/target/hadoop-3.0.0-SNAPSHOT/share/hadoop$

相关:

SVN checkout hadoop源码及Maven进行Hadoop源代码编译步骤

http://www.it165.net/admin/html/201309/1860.html

不完整:http://www.cnblogs.com/meibenjin/p/3172889.html

这个是将hadoop-2.1.1-SNAPSHOT.tar.gz安装伪分布式的文档(正确)(我也爱你)

Hadoop单机单节点集群安装配置  http://blog.csdn.net/dingdn/article/details/13000183

当eclipse建立mapreduce project时,DFS显示版本不对。为trunk,最新版本。

对应版本:

http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.2.0/

编译方法应该一样,先编译出来试一下,重点在能在线调试。

明天试一下用新的编出来的包,运行一下伪分布式。

如果能运行,就可以改源代码了

bin/hadoop jar hadoop-examples-1.2.0.jar wordcount  /words/input output

结束

eclipse安装maven插件

http://dead-knight.iteye.com/blog/1910783

远程调试新版hadoop:

http://chinahadoop.net/thread-5352-1-1.html

在eclipse下远程调试hadoop2.0   http://www.cnblogs.com/meibenjin/archive/2013/07/07/3175679.html

重要发现:新版的hadoop-2.2.0 和编译的目录完全一致啊  哈哈 这样就可以这个版本进行集群配置,并在此基础上修改源码。只是eclipse的插件要自己编译

(参考而已 新版hadoop配置 和单机单节点差不多http://yangshangchuan.iteye.com/blog/1967994

下一步:要自己编译eclipse plugin插件

网上还流行一种编译方法:ant build工具

http://www.cnblogs.com/liuxiaojun/archive/2010/09/06/hadoop-003.htmlhttp://blog.csdn.net/dingdn/article/details/13000183

Hadoop编译方法的更多相关文章

  1. Spark-1.0.1 的make-distribution.sh编译、SBT编译、Maven编译 三种编译方法

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3775343.html 本文编译方法所支持的hadoop环境是Hadoop-2.2.0, ...

  2. Genome2D编译方法

    Genome2D是一个高效的2D引擎,现在支持Flash(stage3d)和HTML5,因为只有作者一个人在维护,就没开源代码. 最近和作者沟通了下,已经开源啦. 作者划分了几个模块,编译起来不是特别 ...

  3. 详细地jsoncpp编译方法 和 vs2010中导入第三方库的方法

    详细地jsoncpp编译方法 和 vs2010中导入第三方库的方法 一 编译链接 1 在相应官网下载jsoncpp 2 解压得到jsoncpp-src-0.5.0文件 3 打开jsoncpp-src- ...

  4. (DT系列一)DTS结构及其编译方法

    DTS结构及其编译方法 一:主要问题 1,需要了解dtsi与dts的关系 2,dts的结构模型 3,dts是如何被编译的,以及编译后会生成一个什么文件. 二:参考文字 1,DTS(device tre ...

  5. 【转】(DT系列一)DTS结构及其编译方法----不错

    原文网址:http://www.cnblogs.com/biglucky/p/4057476.html DTS结构及其编译方法 一:主要问题 1,需要了解dtsi与dts的关系 2,dts的结构模型 ...

  6. osip及eXosip的编译方法

    osip及eXosip的编译方法 在最新版本的osip2.exosip2中不支持在VC6.0下编译osip.exosip协议栈的方法 说明: 1.以下文章中的osip版本为3.1.0 2.eXosip ...

  7. 简单的Android之apk包反编译方法

    网上相关的文章一大堆了,我只是总结下自己的反编译方法和工具 工具下载地址: http://download.csdn.net/detail/zsjangel/7104663 下载上面的三个工具的压缩包 ...

  8. sass学习笔记 -- sass的四种编译方法

    sass的四种编译方法:(.scss) (一)ruby下的命令行编译 首先需要安装ruby,注意需勾选Add Ruby executables to your PATH选项,以添加环境变量. ruby ...

  9. (转)wxWidgets 2.9.2svn(3.x)最小体积编译方法

    官方论坛.网上记录的wxWidgets编译方法,会导致编译后的程序库非常大,原因在于对编译的方法选择不当.下面简单总结一下如何编译最新的SVN代码.下载最新源码(每日构建):http://biolpc ...

随机推荐

  1. struts2 type="redirectAction"重定向 与动态调用方法

    <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE struts PUBLIC "-/ ...

  2. C# 多线程复习笔记

    编码的日子其实也有一段时间了,但是,作为一个客户端程序,因为自己是做游戏开发的,一直没有对线程这个概念比较模糊吧. 记录下线程的整理学习路线.原文:http://www.cnblogs.com/min ...

  3. CentOS7修改主机名(hostname)

    Linux中的hostname在大多数应用中至为重要,例如有些应用强制使用主机名称而不能使用IP地址,如果默认主机名称都为localhost.localdomain 的话那一定会出现问题,而且看起来也 ...

  4. 【转】sed 的参数

    一.15个参数 1.r 从文件读入 [root@watchout2 ~]# cat file12345 [root@watchout2 ~]# cat newfile abcde [root@watc ...

  5. Python函数可变参数*args及**kwargs详解

    初学Python的同学们看到代码中类似func(*args, **kwargs)这样的函数参数定义时,经常感到一头雾水. 下面通过一个简单的例子来详细解释下Python函数可变参数*args及**kw ...

  6. BZOJ 1194: [HNOI2006]潘多拉的盒子 [DP DFA]

    传送门 题意: s个DFA,选出尽量多的自动机a0, a1, a2, . . . , at,使得a1包含a0.a2包 含a1,以此类推.s ≤ 50. DFA的字符集为{0,1},有的节点是输出源,节 ...

  7. CF 235C. Cyclical Quest [后缀自动机]

    题意:给一个主串和多个询问串,求询问串的所有样子不同的周期同构出现次数和 没有周期同构很简单就是询问串出现次数,|Right| 有了周期同构,就是所有循环,把询问串复制一遍贴到后面啊!思想和POJ15 ...

  8. [Python Study Notes]计算cpu使用率v0.1

    V0.1 更新日志: 1.加入平台判断,支持windows与linux 2.自动清屏显示,显示更加直观 '''''''''''''''''''''''''''''''''''''''''''''''' ...

  9. WPF ----在UserControl的xaml里绑定依赖属性

    场景:在定义wpf 用户控件的时候,希望使用时设置自定义的属性来改变用户控件里的状态或内容等. 下面直接上实例代码: 用户控件的后台代码,定义依赖属性 public partial class MyU ...

  10. Chrome浏览器的使用

    1 切换Tab 方法一: Ctrl+Tab键,标签页往前循环,或者说往右循环.Ctrl+Shift+Tab键,标签页往后循环,或者说往左循环 方法二: Ctrl + 数字键 Ctrl + 1 : 切换 ...