1. 确保安装好JDK和eclipse

详细教程见： http://blog.csdn.net/kangdakangdaa/article/details/11364985

2. 安装 Subclipse（Eclipse 的 SVN 插件）

用于从 Hadoop 获得源代码。我们使用 eclipse 自带的软件安装功能，通过 Subclipse 提供的地址自动下载安装该插件。

  • 首先访问http://subclipse.tigris.org，在Download and Install页面找到与Eclipse版本合适的Subclipse版本，最新为1.6，将其Eclipse update site URL（即http://subclipse.tigris.org/update_1.6.x）复制下来；
  • 然后打开 eclipse 的菜单 Help > Install New Software，单击 Add 按钮，填入刚才复制的安装地址（即 http://subclipse.tigris.org/update_1.6.x），可将该地址取名为subclipse；点击OK回到 Install 窗口，选择 Subclipse，而后按 Next 逐步安装。
  • 此外，还需安装 SVN 所需的 JavaHL，执行如下命令行：
        $ sudo apt-get install libsvn-java
 但是实际上我发现在eclipse的选项中将SVN改成另外的一个库就可以了。。

Sudo apt-get install subversion subversion-tools

个人理解：

问题场景

一  .先将下载和编译源码的工具都装好：要注意版本

安装步骤：
1、安装Java和Eclipse（具体步骤略）
2、安装 Subclipse（Eclipse 的 SVN 插件）

用于从 Hadoop 获得源代码。我们使用 eclipse 自带的软件安装功能，通过 Subclipse 提供的地址自动下载安装该插件。

  • 首先访问http://subclipse.tigris.org，在Download and Install页面找到与Eclipse版本合适的Subclipse版本，最新为1.6，将其Eclipse update site URL（即http://subclipse.tigris.org/update_1.6.x）复制下来；
  • 然后打开 eclipse 的菜单 Help > Install New Software，单击 Add 按钮，填入刚才复制的安装地址（即 http://subclipse.tigris.org/update_1.6.x），可将该地址取名为subclipse；点击OK回到 Install 窗口，选择 Subclipse，而后按 Next 逐步安装。
  • 此外，还需安装 SVN 所需的 JavaHL，执行如下命令行：
        $ sudo apt-get install libsvn-java
  • 在eclipse.ini中加入  -Djava.library.path=/usr/lib/i386-linux-gnu/jni
3、输入命令sudo apt-get install ant安装ant
4、输入命令sudo apt-get install git-core安装git
5、sudo apt-get install maven2安装的maven版本过低，如果已安装，则输入命令
   sudo apt-get purge maven2 卸载。
   从apache网站下载maven3.0.4，到待安装的目录下（例如/opt）输入命令
   sudo tar xzf ~/Downloads/apache-maven-3.0.4-bin.tar.gz
   在/etc/profile中加上相关路径变量：
      export JAVA_HOME=/opt/jdk1.6.0_30
      export JRE_HOME=/opt/jdk1.6.0_30/jre
      export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
      export M2_HOME=/opt/apache-maven-3.0.4
      export M2=$M2_HOME/bin
      export PATH=$M2:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
   输入mvn --version查看版本是否正确
6、输入命令sudo apt-get install g++安装编译环境，为下一步做准备
7、输入命令
   sudo apt-get purge libprotoc5 
   系统自带的protobuf卸载掉，因为版本过低
   从谷歌网站下载protobuf2.4.1压缩文件，到待安装的目录下（例如/opt）输入命令
   sudo tar -xzf ~/Downloads/protobuf-2.4.1.tar.gz
   进入protobuf目录，输入命令
   sudo ./configure --prefix=$INSTALL_DI
   sudo make
   sudo make check
   sudo make install
   输入protoc --version查看版本是否正确，如果找不到执行文件，则重启系统使设置生效

二 . 按照官网http://wiki.apache.org/hadoop/EclipseEnvironment指导，要把Hadoop下载到本地，并构建Eclipse开发环境，只需要三条指令：

$ git clone git://git.apache.org/hadoop-common.git
$ mvn install -DskipTests
$ mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true

在编译过程中遇到一些问题，在本文后面有相关解决办法。

两个插件都装好后就可以用maven工程导入hadoop源代码了。

打包命令：mvn install -Pdist -Dtar -DskipTests=true

生成：hadoop-dist/target/hadoop-0.24.0-SNAPSHOT.tar.gz

参考网址：

http://monton76.blog.163.com/blog/static/378380722012318882158/

http://wiki.apache.org/hadoop/EclipseEnvironment

http://stardust1900.blog.163.com/blog/static/141127703201182014421993

http://blog.csdn.net/basicthinker/article/details/6174442#comments

问题解决办法：

1. Eclipse并安装Subclipse1.6x插件后,使用svn过程中报如下错误:

Failed to load JavaHL Library.
These are the errors that were encountered:
no libsvnjavahl-1 in java.library.path
no svnjavahl-1 in java.library.path
/opt/local/lib/libsvnjavahl-1.0.0.0.dylib: no suitable image found. Did find: /opt/local/lib/libsvnjavahl-1.0.0.0.dylib: mach-o, but wrong architecture

原来是缺少一些关联文件,去subclipse的Wiki看了看,说需要安装libsvn-java,在Ubuntu 下安装很简单,命令如下:

sudo apt-get install libsvn-java

安装完后,这文件在/usr/lib/jni目录下,这个目录并不是eclipse的java.library.path路径之一,所以还需要修改eclipse.ini来告诉eclipse去哪找这个libsvn-java相关的文件.
打开eclipse.ini,在最后行加入如下内容(注意换行)

-Djava.library.path=/usr/lib/jni（如果是linux 32位系统，目录为/usr/lib/i386-linux-gnu/jni）

-Djava.library.path=/usr/share/java/

问题：Ubuntu Incompatible JavaHL library loaded.  1.7.x or later required

参考链接：http://www.linuxidc.com/Linux/2013-01/78714.htm

问题：eclipse-subclipse:unable to load default SVN Client

 卸载svn1.8.x版本，装1.6的版本

参考网址：http://wenku.baidu.com/view/306e6527482fb4daa58d4b3c.html
2. mvn 命令执行到HDFS失败
  从hadoop svn co出来代码后 mvn clean install -Dmaven.test.skip碰到的问题及解决

svn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunk

[INFO] Apache Hadoop HDFS ................................ FAILURE [0.234s]
关键错误信息：
[ERROR] Failed to execute goal on project hadoop-hdfs: Could not resolve dependencies for project org.apache.hadoop:hadoop-hdfs:jar:3.0.0-SNAPSHOT: Failure to findorg.apache.hadoop:hadoop-common:jar:tests:3.0.0-SNAPSHOT in
https://repository.apache.org/content/repositories/snapshots was cached in the local repository, resolution will not be reattempted until the update interval of apache.snapshots.https has elapsed or updates are forced -> [Help 1]
解决办法：

错误提示无法解决依赖，通过google查到了HDFS-4041（down下来的trunk貌似也解决了这个bug），但是不顶用。所以直接到maven的本地repository（~/.m2/repository）下查看这个包是否存在。实际上肯定是不存在的，但是在编译hadoop-hdfs时，会在repository相应的目录下（~/.m2/repository/org/apache/hadoop/hadoop-common/3.0.0-SNAPSHOT）生成一个hadoop-common-3.0.0-SNAPSHOT-tests.jar.lastUpdated，看着和找不到的依赖很像。将后面的lastUpdated去掉变成jar包，HDFS就可以编译通过了。

5.org.apache.maven.plugin.MojoExecutionException: protoc failure

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (compile-proto) on project hadoop-common: An Ant BuildException has occured: exec returned: 127 -> [Help 1]

org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (compile-proto) on project hadoop-common: An Ant BuildException has occured: exec returned: 127

    at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:217)

    at...

    Caused by: /Users/Shared/Workspace/hadoop/hadoop-common/hadoop-common-project/hadoop-common/target/antrun/build-main.xml:23: exec returned: 127

原因是缺少protocol buffer， 找不到protoc命令。

[ERROR]Failed
to execute goal org.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPSHOT:protoc(compile-protoc)
on project hadoop-c[Help1]org.apache.maven.lifecycle.LifecycleExecutionException:Failed
to execute goal org.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPplugin.MojoExecutionException:
protoc failure at 

<code style="border-bottom:0px; border-left:0px; padding-bottom:0px; margin:0px; padding-left:0px; padding-right:0px; font-family:Consolas,Menlo,Monaco,'Lucida Console','Liberation Mono','DejaVu Sans Mono','Bitstream Vera Sans Mono','Courier New',monospace,serif; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px"><span class="pln" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">wget http</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">:</span><span class="com" style="color:gray; border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">//protobuf.googlecode.com/files/protobuf-2.5.1.tar.gz</span><span class="pln" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">

tar xzf protobuf</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">-</span><span class="lit" style="color:#8000; border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">2.4</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">.</span><span class="lit" style="color:#8000; border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">1.tar</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">.</span><span class="pln" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">gz

cd protobuf</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">-</span><span class="lit" style="color:#8000; border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">2.4</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">.</span><span class="lit" style="color:#8000; border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">1</span><span class="pln" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">

</span><span class="pun" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">./</span><span class="pln" style="border-bottom:0px; border-left:0px; padding-bottom:0px; background-color:transparent; margin:0px; padding-left:0px; padding-right:0px; vertical-align:baseline; border-top:0px; border-right:0px; padding-top:0px">configure

make

sudo make install

sudo ldconfig  （一定要执行）

</span></code><h3>导入Eclipse</h3><pre><code>mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true

</code>
ldconfig几个需要注意的地方！

1. 往/lib和/usr/lib里面加东西，是不用修改/etc/ld.so.conf的，但是完了之后要调一下ldconfig，不然这个library会找不到

2. 想往上面两个目录以外加东西的时候，一定要修改/etc/ld.so.conf，然后再调用ldconfig，不然也会找不到

比 如安装了一个mysql到/usr/local/mysql，mysql有一大堆library在/usr/local/mysql/lib下面，这时就 需要在/etc/ld.so.conf下面加一行/usr/local/mysql/lib，保存过后ldconfig一下，新的library才能在程 序运行时被找到。

3. 如果想在这两个目录以外放lib，但是又不想在/etc/ld.so.conf中加东西（或者是没有权限加东西）。那也可以，就是export一个全局变 量LD_LIBRARY_PATH，然后运行程序的时候就会去这个目录中找library。一般来讲这只是一种临时的解决方案，在没有权限或临时需要的时 候使用。

4. ldconfig做的这些东西都与运行程序时有关，跟编译时一点关系都没有。编译的时候还是该加-L就得加，不要混淆了。

5. 总之，就是不管做了什么关于library的变动后，最好都ldconfig一下，不然会出现一些意想不到的结果。不会花太多的时间，但是会省很多的事\



git clone出现错误：fatal:could not create work dir 'hadoop-common'


要确保所有的操作都是在用户hadoop下完成的：




  1. ~$ sudo chown -R hadoop:hadoop /usr/local/hadoop


												


											
eclipse导入/编译hadoop源代码的更多相关文章
	

    
								
  1. eclipse下编译hadoop源代码(转)
		
    hadoop是一个分布式存储和分布式计算的框架.在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译.打包. 下面将详细描述如何从sv ...
    
		
    2. 
						
  2. [导入]Eclipse 导入/编译 Hadoop 源码
		
    http://www.cnblogs.com/errorx/p/3779578.html 1.准备工作 jdk: eclipse: Maven: libprotoc :https://develope ...
    
		
    3. 
						
  3. 将hadoop源代码导入eclipse
		
    1. 安装JDK,eclipse,下载hadoop源代码并解压到某一个目录. 2. 安装maven,将bin目录添加到PATH环境变量中. 3. 安装protobuf2.5.0,将protoc-2.5 ...
    
		
    4. 
						
  4. Centos编译Hadoop 2.x 源码
		
    1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下 ...
    
		
    5. 
						
  5. hadoop源代码组织结构与阅读技巧
		
    本文将介绍在 Eclipse 下阅读 Hadoop 源代码的一些技巧, 比如如何查看一个基类有哪些派生类. 一个方法被其他哪些方法调用等. 本文地址:http://www.cnblogs.com/ar ...
    
		
    6. 
						
  6. 调试 Hadoop 源代码
		
    环境是 64bit Ubuntu 14.04 系统, jdk 1.7 以及 Eclipse Mars (4.5) 这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打 ...
    
		
    7. 
						
  7. 编译Hadoop
		
    Apache Hadoop 生态圈软件下载地址:http://archive.apache.org/dist/hadoop/hadoop下载地址 http://archive.apache.org/d ...
    
		
    8. 
						
  8. Hadoop源代码导入Eclipse
		
    须要进一步学习hadoop.须要看看内部源代码实现.因此须要将hadoop源代码导入都eclipse中,简单总结一下,详细过程例如以下: 首先确保已经安装了git.maven3.protobuf2.5 ...
    
		
    9. 
						
  9. Eclipse中导入Hadoop源代码工程
		
    以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5   mvn时需要使用root权限,即县切换到root用户,用命 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 【转】软件开发工具介绍之 6.Web开发工具
			
    [本文转自http://www.cnblogs.com/dusonchen/archive/2011/02/09/1739087.html ] 1.EditPlus 无论是编写xhtml页面,还是cs ...
    
			
    2. 
						
  2. java web response提供文件下载功能
			
    */ .hljs { display: block; overflow-x: auto; padding: 0.5em; color: #333; background: #f8f8f8; } .hl ...
    
			
    3. 
						
  3. Apache配置虚拟主机后,不能访问localhost
			
    解决方法:将localhost设为虚拟域名 重要的是要注释掉httpd.conf文件的ServerName localhost:80
    
			
    4. 
						
  4. 【转】高精度GPS测量中框架基准的统一
			
    一.地面基准点的坐标基准转换 一般情况下,我们可以从IERS或IGS等机构获取最新的站坐标和速度场,这些站坐标和速度场是在某一特定基准框架和历元下的坐标值,若要提供高精度GPS网的分析使用,还需要作框 ...
    
			
    5. 
						
  5. MySQL--如何快速对比数据
			
    在MySQL运维中,研发同事想对比下两个不同实例上的数据并找出差异,除主键外还需要对比每一个字段,如何做呢? 第一种方案,写程序将两个实例上的每一行数据取出来进行对比,理论可行,但是对比时间较长. 第 ...
    
			
    6. 
						
  6. python学习交流 - 内置函数使用方法和应用举例
			
    内置函数 python提供了68个内置函数,在使用过程中用户不再需要定义函数来实现内置函数支持的功能.更重要的是内置函数的算法是经过python作者优化的,并且部分是使用c语言实现,通常来说使用内置函 ...
    
			
    7. 
						
  7. MOBA 游戏技能系统设计 2.0
			
    随着游戏开发的完整度提升,技能系统的设计复杂性也越来越高,导致了用模板方式的配置方法和处理方法会导致以下几个问题: 代码冗余 排错困难 配置项冗余 熟悉业务流程时间长 扩展性低 经过我思考决定重写之. ...
    
			
    8. 
						
  8. 洛谷 [P251] 餐巾计划问题
			
    有上下界的最小费用最大流 可以联想到供求平衡问题,所以我们要拆点做这道题 把每天分为二分图两个集合中的顶点Xi,Yi,建立附加源S汇T. 1.从S向每个Xi连一条容量为ri,费用为0的有向边. 2.从 ...
    
			
    9. 
						
  9. Windows Azure Platform Introduction (14) 申请海外的Windows Azure账户
			
    <Windows Azure Platform 系列文章目录> 本文的最后更新时间为:2017-12-27 本文介绍国内用户,注册和使用海外Azure账户. 前提: 1.需要一个有效的Wi ...
    
			
    10. 
						
  10. Docker Compose容器编排
			
    Compose是Docker官方的开源项目,可以实现对Docker容器集群的快速编排.Compose 中有两个重要的概念:服务(service):一个应用的容器,实际上可以包括若干运行相同镜像的容器实 ...
    
			
    11.