hadoop是一个分布式存储和分布式计算的框架.在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译.打包. 下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译. 因项目使用的hadoop版本是0.20.2,所以我们基于hadoop-0.20.2来进行二次开发. (1)首先从svn上签出源代码,svn地址: http://svn.apache.org/repos/asf/hadoop/common/tags/…

1. 确保安装好JDK和eclipse 详细教程见: http://blog.csdn.net/kangdakangdaa/article/details/11364985 2. 安装 Subclipse(Eclipse 的 SVN 插件) 用于从 Hadoop 获得源代码.我们使用 eclipse 自带的软件安装功能,通过 Subclipse 提供的地址自动下载安装该插件. 首先访问http://subclipse.tigris.org,在Download and Install页面找到与Ec…

Ubuntu13.04 Eclipse下编译安装Hadoop插件及使用小例 一.在Eclipse下编译安装Hadoop插件 Hadoop的Eclipse插件现在已经没有二进制版直接提供,只能自己编译.不过要注意,一定要下载Hadoop的src包,不然是不带源代码的.环境如下: Linux的发行版是Ubuntu13.04,Hadoop版本是1.1.2.hadoop安装在/opt/hadoop,所以源代码的目录是hadoop根路径下的src/contrib/eclipse-plugin.Eclips…

在Eclipse下编译cocos2dx项目,报错如下: Android NDK: jni/Android.mk: Cannot find module with tag 'CocosDenshion/android' in import path     Android NDK: Are you sure your NDK_MODULE_PATH variable is properly defined ?     Android NDK: The following directories w…

Windows 10 x64 下编译 Hadoop 源码 环境准备 Hadoop并没有提供官方的 Windows 10 下的安装包,所以需要自己手动来编译,官方文档中 BUILDING.txt 文件中说明了编译源码需要的软件环境: 1. 具体如下: [x] Hadoop源码 [x] Windows 系统 [x] JDK 1.8+ [x] Maven 3.0 or later [x] Findbugs 1.3.9 (可省略) [x] ProtocolBuffer 2.5.0 [x] CMake 2…

本文介绍在cygwin下编译zlib源代码的方法步骤,这个过程尽管简单,但还是有一些须要注意的地方. zlib源代码下载地址: http://www.zlib.net/ 下载后.解压就会生成zlib-1.2.8这样的目录. 1. 编译步骤: 首先.创建一个目录,用configure命令指定编译结果到这个目录. 其次.make 最后,make install 当然,也能够将最后两步合并为 make & make install 2. 为加深印象.特帖实践步骤例如以下: $ pwd /cygdriv…

0.报sed的错误.原因在于没有安装cygwin.安装cygwin的时候要选择sed 1.Cannot run program "autoreconf". 这个问题在网上看了很多解决方法之后,发现都是没有结果的.最后放弃.我现在的解决方法见2. 2.先在Linux操作系统Ubuntu 12.4上编译好ant eclipse ,然后把编译好的hadoop源代码文件夹拷贝到Windows 7上. 并在eclipse 上通过新建JAVA Project来导入源代码.导入源代码之后发现很多在L…

Hadoop是一个分布式系统基础架构,由apache基金会维护并更新.官网地址: http://hadoop.apache.org/ Hadoop项目主要包括以下4个模块: Hadoop Common: 为其他Hadoop模块提供基础设施. Hadoop HDFS: 一个高高靠.高吞吐量的分布式文件系统. Hadoop MapReduce: 一个分布式的计算框架,包括任务调度和集群资源管理. Hadoop YARN: 一个新的MapReduce框架.有兴趣的同学请参考: http://www.i…

不会看JDK源代码,相当于没学过Java. 网上不容易找到一篇帮助我解决了如何在Eclipse下查看JDK源代码 的文章. 核心提示:在Eclipse中查看JDK类库的源代码!!! 设置: 1.点 window- Preferences - Java - Installed JRES 2.此时Installed JRES右边是列表窗格,列出了系统中的 JRE 环境,选择你的JRE,然后点边上的 Edit..., 会出现一个窗口(Edit JRE) 3.选中rt.jar文件的这一项 在Eclips…

以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5   mvn时需要使用root权限,即县切换到root用户,用命令su root. 本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码.    Hadoop源代码hadoop-2.7.3-src不能直接导入Eclipse,会报很多错,因为该源代码工程没有包含它所需的所有JAR包等, 需要Maven编译引入. 首先,介绍一下我自己成功的办法.  ( 后面…