需要进一步学习hadoop.需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中. 简单总结一下,具体步骤如下: 首先确保已经安装了git.maven3.protobuf2.5.如果没有安装需要提前安装一下 0.preliminary linux distribution(我的是 centos) Eclipse 4.3 JDK1.6.0_45 Maven 3.0.4 ProtocolBuffer (注意版本号version2.5.0, 不然编译中途要出错) 1.下载hadoop…

一 Eclipse导入Hadoop源码项目 基本步骤: 1)在Eclipse新建一个java项目[hadoop-1.2.1] 2)将Hadoop压缩包解压目录src下的core,hdfs,mapred,tools,example四个目录copy到上述新建项目的src目录下 3)右击选择 Build Path,修改Java Build Path中[Source],删除src,添加src/core,src/hdfs,src/mapred,src/tools几个源码目录: 4)在项目中新建一个lib目…

这是解压hadoop后,hadoop-1.2.1目录 各目录结构及说明: Eclipse导入Hadoop源码项目: 注意:如果没有ant的包可以去网上下,不是hadoop里面的. 然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):…

1.准备工作 jdk: eclipse: Maven: libprotoc :https://developers.google.com/protocol-buffers/ hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 添加开源中国maven库:http://maven.oschina.net/home.html maven\conf\settings.xml <localRepository>path</local…

在windows中,使用Eclipse阅读hadoop源码,首先到apache官网下载tar.gz的hadoop源码压缩文件,解压. 方法1:(hadoop技术内幕推荐) 打开Eclipse,新建java project, 取消user default location, 选择hadoop源码解压出的目录即可.…

将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件. 第一步:在Eclipse新建一个Java项目,hadoop-1.0.3 第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步:修改将Java Build Path,删除src,添加src/core, src/hdfs....几个源码目录 第四步:为Java Build Pat…

参考http://blog.csdn.net/gisshixisheng/article/details/43016443 和  http://blog.sina.com.cn/s/blog_6e3765300102vvh8.html 两篇文章 一.安装JDK环境 1.到到官网下载JDK 最好是1.8.0以上版本,这里jdk jdk-8u101-windows-x64(我的机器是64位,如果是32位,需要32位) 2.安装JDK 一路next,其中jdk安装位置和jre安装位置默认是放在c盘,如…

疑问:在开发hadoop程序的时候,有时候需要查看hadoop的源码,但是开发环境看不到,甚是烦恼,经过网上搜索和琢磨,终于实现了,虽然有点绕,但是目的达到了. 第一步:下载hadoop的源码包:hadoop-2.7.1-src.tar.gz,解压缩后为:hadoop-2.7.1-src.得到hadoop的工程源码 第二步:打开eclipse,新建一个Java项目,然后构建路径的时候,选择[link Source]选项,在对框框中选择第一步中hadoop的源码地址 第三步:在你的hadoop的项…

1.1安装Gradle 可以从http://www.gradle.org/downloads页面下载Gradle.下载后将文件解压到指定目录,我放在D:\软件\gradle-3.3,然后设置环境变量. 我是在path变量上加的,也可以设置一个系统变量名,在用变量名配置到path中. 配置完成后,验证是否安装成功,,打开命令窗口,输入'gradle -version',出现上面的信息表示安装成功. 1.2eclipse下载svn插件 在eclipse的Help菜单栏下的Install New So…

http://www.cnblogs.com/errorx/p/3779578.html 1.准备工作 jdk: eclipse: Maven: libprotoc :https://developers.google.com/protocol-buffers/ hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 添加开源中国maven库:http://maven.oschina.net/home.html maven\conf\…

之前写过如何用eclipse看hadoop源码,虽然非官方版的,但是可以达到目的,最重要是简单方便快速 官方版(hadoop2.2.0)的也有: 源码目录为: 和之前的源码目录有很大的不同 编译的时候用到了maven,所以要先安装好.用的windows 2.2.0官方只给出了32位版本,如果64位机器上装32位hadoop会报本地库错误 可以参考:http://www.aboutyun.com/thread-8211-1-1.html 一些文件如果下载不了或者想统一下载:http://pan.b…

1,下载hadoop源码 下载链接 http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0/   为2.2.0的源码, 也可以到http://svn.apache.org/repos/asf/hadoop/common/tags/目录下选择你需要的版本 2,maven编译 下载安装maven 教程http://www.cnblogs.com/dyllove98/archive/2013/07/08/3177900.html…

Hadoop使用ant+ivy组织工程,无法直接导入Eclipse中.本文将介绍如何基于Eclipse搭建Hadoop源码环境. 准备工作 本文使用的操作系统为CentOS.需要的软件版本:hadoop-1.0.4.jdk-1.6.0_43.ant-1.9.2.eclipse3.6. 安装与配置JDK 安装Eclipse 安装与配置Ant 下载Hadoop源码 以上工作就不细说了,这些没啥难度,注意要配置好jdk和ant的环境变量. 编译源码 进入hadoop项目的根目录,在bash中执行ant…

生产环境中hadoop一般会选择64位版本,官方下载的hadoop安装包中的native库是32位的,因此运行64位版本时,需要自己编译64位的native库,并替换掉自带native库. 源码包下的BUILDING.txt,包含官方介绍,如:如何在linux.windows下编译:编译过程中的错误处理:将源码导入eclipse中的步骤等,推荐看一看. 本文环境同:hadoop2.5.2学习及实践笔记(一)—— 伪分布式学习环境搭建 一.编译源码 附:常用工具包网盘路径(部分包非编译时使用):h…

1.解压hadoop-1.1.2.tar.gz,重点在src文件夹 2.在eclipse中通过菜单栏创建一个java工程,工程名随便 3.在创建的工程上,点击右键,在弹出菜单中选择最后一项,在弹出窗口中,左边选择“Java Build Path“,右边选择Libraries,然后点击Add External JARs,把hadoop源码中的所有jar导入进来,还有一个ant.jar,也需要手导入. 4.然后再关联源代码,选中“source“,在右边点击“Link Source…”,出现弹出窗口,…

1. 修改对应调试端口 之前的一篇blog里讲述了hadoop单机版调试的方法,那种调试只限于单机运行hadoop命令而已,对于运行整个hadoop环境而言是不可取的,因为hadoop会开启多个java进程,如果统一为一个端口启动,则启动会报错说端口被占用,同时对于jdwp agent而言也只能加载一次,故调试时单机只能有一个java进程开启debug模式,其实这个也足够了. 通过分析hadoop的启动脚本不难发现,每个java进程的启动参数可以在hadoop-env.sh这个文件里传递进去,故…

把hadoop源码关联到eclipse工程     转:http://www.superwu.cn/2013/08/04/355 在eclipse中阅读源码非常方便,利于我们平时的学习,下面讲述如何把hadoop源码导入到eclpse的java工程中. 解压源码 首先,我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压,如图1所示 图1 我们关注文件夹src,浏览该文件夹,如图2所示 图2 我们需要这三个文件夹,一会我们会把这三个文件夹复制到eclipse中. 创…

就目前了解,结合eclipse阅读和编译hadoop源码用两种方式:svn和git. 根据官方指南http://wiki.apache.org/hadoop/EclipseEnvironment 推荐的是git和mvn一起把源码拉下来后经过编译后import到eclipse. 从另一个中文的博客http://blog.csdn.net/basicthinker/article/details/6174442,介绍了直接用svn的方式,但从编写日期看已经两年了,可能已经不是官方推荐的方式. 引起两…

前言 对于一门技术,我们最先是了解它(what),然后再熟练的使用它(how)以及何时用它(when),最后肯定要看透它(why).spring作为Java开发人员可以说是最熟悉不过的了,基本每个Java的项目都会用到spring,阅读spring的源码对于一个有理想的程序员来说也是一件必干不可的事,阅读源码我们才能更好的使用它.理解它,在遇到问题的时候我们才能更好的找到问题的原因并高效的解决. 阅读源码的最好方式就是下载下来然后导入到IDE,通过编写Test代码来Debug跟踪.spring源…

eclipse导入Java源码 下载源码包(一般jdk都自带了, 我的没有) src.zip eclipse -> window -> preferences -> JAVA -> Installed JREs 选中jdk -> edit 选中rt.jar包(我的在第二行) 点击左边三角展开这个包 选择Source attachment , 右边点Source Attachment 选择要引入的文件 完毕…

导入android源码中的APP源码到eclipse 一般最简单的办法就是创建新的android工程,选择create project from existing source选项,直接导入源码就OK了 编译报错一般就是少了相关的jar包,直接在源码中找到相应jar导入eclipse就好了 不过我们一般只是为了编辑,不用管这些错误的,我们增加在unix下mm编译就OK了…

我的开发环境:windows7  64位 一.官网下载tomcat源码.在此奉上一站地址:http://archive.apache.org/dist/tomcat/: 二.编译源码生成.jar文件: 三.在eclipse中做源码关联: 1)在第二步中使用的编译工具是ANT,ANT工具需要下载安装(安装ANT参考这里,亲测可用:http://www.cnblogs.com/yuzhongwusan/archive/2013/03/26/2982411.html) 2)百度经验“eclipse导入…

Eclipse导入Elasticsearch源码的步骤, 基于Elasticsearch 6.2.2的源码版本. 1.安装JDK1.9 Elasticsearch 6.2.2需要JDK1.9编译,否则后面步骤会报错. Java SE Downloads 地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.下载Elasticsearch源码,并且切换到6.2.2分支 Elasticsearch github…

将Zookeeper源码导入Eclipse, Zookeeper源码需要使用ant构建后才能导入Eclipse, 和Solr的源码一样也是使用ant构建的, 大部分可以参考Eclipse导入Solr源码Version5.5.3, 下面写一下比较重要的地方. 1.Zookeeper源码下载 使用如下地址: https://github.com/apache/zookeeper 本文使用的是2017年11月3号拉取的master版本. 2.编译Zookeeper源码 Zookeeper源码需要使用如…

首先,说的是,本人到现在为止,已经玩过.                   对于,这样的软件,博友,可以去看我博客的相关博文.在此,不一一赘述! Eclipse *版本 Eclipse *下载 Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 Eclipse下新建Maven项目.自动打依赖jar包 如何在Maven官网下载历史版本 setting.xml配置文件 [转]maven核心,pom.xml详解 本博文呢,Eclipse下详细讲解ha…

背景: 在阅读hadoop源代码过程中会发现部分类或者函数无法找到,这是由于Hadoop2.0使用了Protocol Buffers定义了RPC协议, 而这些Protocol Buffers文件在Maven编译源代码才会生成对应的java类,因此若其他类在源代码中引用这些类则暂时无法找到. 解决办法就是先对hadoop源码进行编译,再导入eclipse工程. 一.基础软件: 软件 下载地址 推荐版本 JDK http://www.oracle.com/technetwork/java/javas…

可以在这里下载hadoop的源码包 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 我自己下载的是hadoop2.6.0的源码包 接下来确保你的电脑安装了jdk 和maven 安装protoc-2.5.0-win32 然后将里面的protoc.exe,放到一个Path环境变量的路径中 我们可以验证一下 在cmd命令框里进入源码根目录下的hadoop-maven-plugins目录 这里是我下载的源码包的目录 然后执行执mvn…

最近在跟着一个大佬学习Hadoop底层源码及架构等知识点,觉得有必要记录下来这个学习过程.想到了这个废弃已久的blog账号,决定重新开始更新. 主要分以下几步来进行源码学习: 一.搭建源码阅读环境二.源码项目结构概览及hdfs源码包结构简介三.NameNode介绍 第一步,搭建源码阅读环境. 把Hadoop源码包导入到开发工具,eclipse或者idea都行.这里我的环境是mac os,使用的工具是idea,Hadoop版本为2.6.5. 首先,解压缩Hadoop源码包,可以选择移动解压之后的源…

拿到一份Hadoop源码之后,经常关注的两件事情就是 1.怎么阅读?涉及IDEA和Eclipse工程搭建.IDEA搭建,选择源码,逐步导入即可:Eclipse可以选择后台生成工程,也可以选择IDE导入.二者工程也可以互相导入\到处. 2.怎么构建?利用maven,生成安装包. 二者均需配置maven,相关工具配置参考另两篇帖子<Hadoop源码编译环境搭建>和<IDEA配置maven中央库> 1.下载源码 http://mirror.bit.edu.cn/apache/hadoop…

准备工具: maven 3.0.0版本或者更高版本(配置中心库) protocbuff 2.5.0 http://www.zlib.net/ git bash(Windows环境可以用此工具执行编译命令) 下载源码: http://hadoop.apache.org/releases.html http://mirror.bit.edu.cn/apache/hadoop/common/ 当前稳定版本为hadoop 2.9.2 编译源码: 在目录hadoop-maven-plugins下执行mav…