1. 确保安装好JDK和eclipse 详细教程见: http://blog.csdn.net/kangdakangdaa/article/details/11364985 2. 安装 Subclipse(Eclipse 的 SVN 插件) 用于从 Hadoop 获得源代码.我们使用 eclipse 自带的软件安装功能,通过 Subclipse 提供的地址自动下载安装该插件. 首先访问http://subclipse.tigris.org,在Download and Install页面找到与Ec…

hadoop是一个分布式存储和分布式计算的框架.在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译.打包. 下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译. 因项目使用的hadoop版本是0.20.2,所以我们基于hadoop-0.20.2来进行二次开发. (1)首先从svn上签出源代码,svn地址: http://svn.apache.org/repos/asf/hadoop/common/tags/…

http://www.cnblogs.com/errorx/p/3779578.html 1.准备工作 jdk: eclipse: Maven: libprotoc :https://developers.google.com/protocol-buffers/ hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 添加开源中国maven库:http://maven.oschina.net/home.html maven\conf\…

1. 安装JDK,eclipse,下载hadoop源代码并解压到某一个目录. 2. 安装maven,将bin目录添加到PATH环境变量中. 3. 安装protobuf2.5.0,将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中,将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中.进入XXX\protobuf-2.5.0\java 目录,执行maven package命令编辑该包,生成protobuf…

1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼.第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的编译问题,但第一次之后的编译则不用再下载了.如不能上网可以参考:虚拟机三种网络模式该如何上网指导2. 安装依赖在编译Hadoop 2.4.0源码之前,需要将下列几个依赖的东西…

本文将介绍在 Eclipse 下阅读 Hadoop 源代码的一些技巧, 比如如何查看一个基类有哪些派生类. 一个方法被其他哪些方法调用等. 本文地址:http://www.cnblogs.com/archimedes/p/study-hadoop-sourcecode.html,转载请注明源地址. 欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章 1 . 查看一个基类或接口的派生类或实现类 在 Eclipse 中, 选中 某个基类或接口名称,右击,在弹出 的…

环境是 64bit Ubuntu 14.04 系统, jdk 1.7 以及 Eclipse Mars (4.5) 这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打印调试日志. 这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop. 最后介绍我自己的方法, 可以打印你想查看的信息( 针对单个文件内部 ). (1) 利用 Eclipse 进行远程调试 参考 http://andilyliao.iteye.com/blog/2151688 …

Apache Hadoop 生态圈软件下载地址:http://archive.apache.org/dist/hadoop/hadoop下载地址 http://archive.apache.org/dist/hadoop/common 安装环境 虚拟机中的 CentOS 64位 需要安装软件: jdk: jdk-7u45-linux-x64.rpm hadoop:hadoop-2.7.2-src.tar.gz maven:apache-maven-3.0.5-bin.tar.gz protobu…

须要进一步学习hadoop.须要看看内部源代码实现.因此须要将hadoop源代码导入都eclipse中,简单总结一下,详细过程例如以下: 首先确保已经安装了git.maven3.protobuf2.5.假设没有安装须要提前安装一下 1.下载hadoop源代码 git clone git://git.apache.org/hadoop-common.git 2.进入hadoop-common文件夹,用maven生成eclipseproject mvn install -DskipTests mvn…

以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5   mvn时需要使用root权限,即县切换到root用户,用命令su root. 本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码.    Hadoop源代码hadoop-2.7.3-src不能直接导入Eclipse,会报很多错,因为该源代码工程没有包含它所需的所有JAR包等, 需要Maven编译引入. 首先,介绍一下我自己成功的办法.  ( 后面…