1.1 源代码学习环境

1.1.1 基础软件的下载

JDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Ant-http://ant.apache.org/bindownload.cgi

Cygwin-http://www.cygwin.com/

Eclipse-http://www.eclipse.org/downloads/

1.1.2 Windows环境

D:\hadoop\ 包括apache-ant-1.9.6、cygwin、Java-jdk1.8.0_65

1.JDK安装

双击安装包将JDK安装到D:\hadoop\Java\下,配置环境变量JAVA_HOME、CLASSPATH、PATH

(1)环境变量

http://jingyan.baidu.com/article/d5a880eb6aca7213f047cc6c.html

(2)配置JAVA_HOME

(3)配置CLASSPATH

变量值:.;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;

(4)配置PATH

变量值:%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin

配置完后,cmd运行java -version,输出以下内容,说明成功。

2.Ant安装

双击安装包将其解压到D:\hadoop\ ,新添加环境变量ANT_HOME。

配置完后,在cmd命令方式下输入:ant -version

出现问题:Unable to locate tools.jar. Expected to find it in D:\hadoop\Java\lib

ANT_HOME环境变量已经配置;

解决途径:将“D:\hadoop\Java\jdk1.8.0_65\lib”目录下的tools.jar文件拷贝到“D:\hadoop\Java\lib”目录下,重新运行命令ant,运行正常,问题解决。

3.Cygwin安装(类Unix环境)

(1)安装Cygwin

(2)安装并启动sshd服务

Hadoop启动/停止脚本需要通过ssh发送命令启动相关守护进程,为此安装sshd服务。

以管理员身份打开,

输入:ssh-host-config    按提示安装。

安装后,输入 net start sshd

4.Eclipse安装

直接安装到D:\hadoop\。

1.1.3 Linux环境

安装目录结构:

ROOT/home/dong/eclipse

/usr/lib/apache-ant-1.9.6

/jvm/jdk1.8.0_65

1.JDK安装与配置

步骤1: 安装JDk

(1) 在/usr/lib/下新建java文件夹

sudo mkdir java

(2) 将桌面上 jdk-8u65-linux-x64.tar.gz 拷贝到java文件夹下

sudo scp jdk-8u25-linux-i586.tar.gz /usr/lib/java/

(3) 解压jdk-8u65-linux-x64.tar.gz

sudo tar xzvf jdk-8u65-linux-x64.tar.gz

步骤2:配置JDK

打开~/.bashrc文件:sudo gedit ~/.bashrc

输入:

export JAVA_HOME=/usr/lib/java/jdk1.8.0_25

export JRE_HOME=/usr/lib/java/jdk1.8.0_25/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

使~/.bashrc生效:source ~/.bashrc

检查java是否安装成功

输入:java -version

2.Ant以及Eclipse安装

(1)安装与配置Ant

步骤同JDK的操作

export Ant_HOME=/usr/lib/apache-ant-1.9.6

export PATH=$PATH:$ANT_HOME/bin

配置生效:source ~./bashrc

检查ant是否安装成功

输入:ant-version

(2)安装Eclipse

直接解压压缩包到/usr/lib/hadoop/

Hadoop技术内幕-第一章 阅读原代码前的准备的更多相关文章

  1. 强化学习 reinforcement learning: An Introduction 第一章, tic-and-toc 代码示例 (结构重建版,注释版)

    强化学习入门最经典的数据估计就是那个大名鼎鼎的  reinforcement learning: An Introduction 了,  最近在看这本书,第一章中给出了一个例子用来说明什么是强化学习, ...

  2. 《Hadoop技术内幕》读书笔记——Task运行过程分析

    本文是董西成的Hadoop技术内幕一书的读书章节总结. 第八章 Task运行过程分析 所有Task需要周期性地向TaskTracker汇报最新进度和计数器值,而这正是由Reporter组件实现的,其中 ...

  3. 2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理

    这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出 ...

  4. Hadoop技术内幕(YARN)第4章问题部分答案

    问题1:改写DistributedShell程序,使得每个container运行在不同节点上(目前是随机的,可能运行在任意节点上). 问题2:改写DistributedShell程序,使得某个用户指定 ...

  5. Hadoop技术内幕1——源代码环境准备

    Hadoop核心 1.HDFS:高容错性.高伸缩性……,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统 2.MapReduce:分布式计算框架,允许用户在不了解分布式系统底层细节的情况下,开 ...

  6. 《Android深度探索HAL与驱动开发》第一章阅读心得

    首先了解到Android系统架构是由四层构成:其中第一层是Linux内核,他的作用是负责Linux的驱动程序以及内存.进程.电源等管理操作:第二层是C/C++代码库,也就是Linux下.so的文件:第 ...

  7. [hadoop读书笔记] 第一章 初识 Hadoop

    P3-P4: 目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数据需要耗时至少2.5个小时.写 ...

  8. WCF技术内幕 第二章 - 简单的Message

    1.契约 - 接口 (客户端和服务端都要认识Message) namespace WCFService { [ServiceContract(Namespace = "http://wint ...

  9. animal farm 第一章阅读笔记

    chapter 1 Old Major's dream. paragraph 1      //Mr Jones is the mastor of the Manor Farm.That night ...

随机推荐

  1. wkhtmltopdf 中文参数详解

    linux:wkhtmltopdf [OPTIONS]… [More input files] windows:wkhtmltopdf.exe [OPTIONS]… [More input files ...

  2. NET基础(2):类型转换

    CLR最重要的特性之一就是类型安全的.在运行时,CLR总是知道对象的类型是什么.调用GetType()方法可以知道对象的确切类型,由于它是非虚方法,所以一个类型不可能伪装成另一种类型.每种编程语言都规 ...

  3. Spring MVC 入门示例讲解

    在本例中,我们将使用Spring MVC框架构建一个入门级web应用程序.Spring MVC 是Spring框架最重要的的模块之一.它以强大的Spring IoC容器为基础,并充分利用容器的特性来简 ...

  4. MyEclipse项目中的包按层次显示

    MyEclipse项目中的包按层次显示 如下图所示: window >  Navigation > Show View Menu  >  Package Presentation   ...

  5. ajax异步处理时,如何在JS中获取从Servlet或者Action中session,request

    ssh项目中,我需要登陆某个页面(如a.jsp),通过onblur()鼠标失去焦点后来触发js函数(函数是ajax请求)请求到相应的action,处理完成后将数据存放到session对象里面,然后在a ...

  6. 说一下linux中shell的后台进程与前台进程

    环境: 操作系统:archlinux; 终端模拟器:rxvt-unicode(urxvt); shell:bash; 这里所说的后台进程是指在命令行后面加一个 ampersand(&),前台进 ...

  7. POJ - 1978 Hanafuda Shuffle

    最初给牌编号时,编号的顺序是从下到上:洗牌时,认牌的顺序是从上到下.注意使用循环是尽量统一“i”的初始化值,都为“0”或者都为“1”,限界条件统一使用“<”或者“<=”. POJ - 19 ...

  8. Material Design Lite,简洁惊艳的前端工具箱 之 布局组件。

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博客地址为http://www.cnblogs.com/jasonnode/ .网站上有对应每一 ...

  9. Azure Table storage 之改进DynamicTableEntity类为其添加动态语言扩展

    在之前的一篇文章中提到,storage类库中包含一个可以用来动态获取Azure table storage 表结构的类-DynamicTableEntity. 我们可以通过这个类,我们无需为每一个表提 ...

  10. Dynamics AX 2012 R2 为运行失败的批处理任务设置预警

    我们主要有两种类型的系统监视:环境健康监视和性能监视. 环境健康监视一般对系统性能影响非常小,是为了提醒潜在的问题. 性能监视通常更有侵入性.监视期间,添加一个负载到环境.因此,它可以回答特定的问题或 ...