Hadoop技术内幕-第一章 阅读原代码前的准备
1.1 源代码学习环境
1.1.1 基础软件的下载
JDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Ant-http://ant.apache.org/bindownload.cgi
Cygwin-http://www.cygwin.com/
Eclipse-http://www.eclipse.org/downloads/
1.1.2 Windows环境
D:\hadoop\ 包括apache-ant-1.9.6、cygwin、Java-jdk1.8.0_65
1.JDK安装
双击安装包将JDK安装到D:\hadoop\Java\下,配置环境变量JAVA_HOME、CLASSPATH、PATH
(1)环境变量
http://jingyan.baidu.com/article/d5a880eb6aca7213f047cc6c.html
(2)配置JAVA_HOME

(3)配置CLASSPATH
变量值:.;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;

(4)配置PATH
变量值:%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin

配置完后,cmd运行java -version,输出以下内容,说明成功。

2.Ant安装
双击安装包将其解压到D:\hadoop\ ,新添加环境变量ANT_HOME。

配置完后,在cmd命令方式下输入:ant -version
出现问题:Unable to locate tools.jar. Expected to find it in D:\hadoop\Java\lib
ANT_HOME环境变量已经配置;
解决途径:将“D:\hadoop\Java\jdk1.8.0_65\lib”目录下的tools.jar文件拷贝到“D:\hadoop\Java\lib”目录下,重新运行命令ant,运行正常,问题解决。

3.Cygwin安装(类Unix环境)
(1)安装Cygwin









(2)安装并启动sshd服务
Hadoop启动/停止脚本需要通过ssh发送命令启动相关守护进程,为此安装sshd服务。
以管理员身份打开,

输入:ssh-host-config 按提示安装。
安装后,输入 net start sshd
4.Eclipse安装
直接安装到D:\hadoop\。
1.1.3 Linux环境
安装目录结构:
ROOT/home/dong/eclipse
/usr/lib/apache-ant-1.9.6
/jvm/jdk1.8.0_65
1.JDK安装与配置
步骤1: 安装JDk
(1) 在/usr/lib/下新建java文件夹
sudo mkdir java
(2) 将桌面上 jdk-8u65-linux-x64.tar.gz 拷贝到java文件夹下
sudo scp jdk-8u25-linux-i586.tar.gz /usr/lib/java/
(3) 解压jdk-8u65-linux-x64.tar.gz
sudo tar xzvf jdk-8u65-linux-x64.tar.gz
步骤2:配置JDK
打开~/.bashrc文件:sudo gedit ~/.bashrc
输入:
export JAVA_HOME=/usr/lib/java/jdk1.8.0_25
export JRE_HOME=/usr/lib/java/jdk1.8.0_25/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
使~/.bashrc生效:source ~/.bashrc
检查java是否安装成功
输入:java -version
2.Ant以及Eclipse安装
(1)安装与配置Ant
步骤同JDK的操作
export Ant_HOME=/usr/lib/apache-ant-1.9.6
export PATH=$PATH:$ANT_HOME/bin
配置生效:source ~./bashrc
检查ant是否安装成功
输入:ant-version
(2)安装Eclipse
直接解压压缩包到/usr/lib/hadoop/
Hadoop技术内幕-第一章 阅读原代码前的准备的更多相关文章
- 强化学习 reinforcement learning: An Introduction 第一章, tic-and-toc 代码示例 (结构重建版,注释版)
强化学习入门最经典的数据估计就是那个大名鼎鼎的 reinforcement learning: An Introduction 了, 最近在看这本书,第一章中给出了一个例子用来说明什么是强化学习, ...
- 《Hadoop技术内幕》读书笔记——Task运行过程分析
本文是董西成的Hadoop技术内幕一书的读书章节总结. 第八章 Task运行过程分析 所有Task需要周期性地向TaskTracker汇报最新进度和计数器值,而这正是由Reporter组件实现的,其中 ...
- 2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理
这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著 机械工业出版社2013年5月出 ...
- Hadoop技术内幕(YARN)第4章问题部分答案
问题1:改写DistributedShell程序,使得每个container运行在不同节点上(目前是随机的,可能运行在任意节点上). 问题2:改写DistributedShell程序,使得某个用户指定 ...
- Hadoop技术内幕1——源代码环境准备
Hadoop核心 1.HDFS:高容错性.高伸缩性……,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统 2.MapReduce:分布式计算框架,允许用户在不了解分布式系统底层细节的情况下,开 ...
- 《Android深度探索HAL与驱动开发》第一章阅读心得
首先了解到Android系统架构是由四层构成:其中第一层是Linux内核,他的作用是负责Linux的驱动程序以及内存.进程.电源等管理操作:第二层是C/C++代码库,也就是Linux下.so的文件:第 ...
- [hadoop读书笔记] 第一章 初识 Hadoop
P3-P4: 目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数据需要耗时至少2.5个小时.写 ...
- WCF技术内幕 第二章 - 简单的Message
1.契约 - 接口 (客户端和服务端都要认识Message) namespace WCFService { [ServiceContract(Namespace = "http://wint ...
- animal farm 第一章阅读笔记
chapter 1 Old Major's dream. paragraph 1 //Mr Jones is the mastor of the Manor Farm.That night ...
随机推荐
- DuiLib学习笔记3——颜色探究
在前面两篇日志已经能使用xml了.今天准备好好的折腾一番,结果在颜色上却掉坑里了. 起初我在ps里取颜色为0104ff 这里01为R,04为G,ff为B 在控件的属性里有这样一个属性bkcolor=& ...
- java学习规划
今天在网上看到一位大学生的java学习线路规划,觉得蛮适合我,就详细阅读了一下,规划路线应该适用于大部分学习java语言的人,贴出来与大家共勉. 在学习的过程中,不能急于去学习更多的知识,因为知识是无 ...
- ReentrantLock的实现语义与使用场景
简介 ReentrantLock(重入锁)就是支持可重进入的锁,它表示该锁能支持一个线程对资源的重复加锁.另外还支持获取锁的公平和非公平选择ReentrantLock的实现不仅可以替代隐式的synch ...
- AMQP
AMQP,即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计.基于此协议的客户端 ...
- Asp.net MVC进入请求管道的过程
Asp.net MVC进入请求管道的过程 Asp.Net MVC 跟AspNet 入口解释 Asp.Net MVC请求处理过程 mvc 请求模型 mvc的原理 mvc模型 NewMVCPipleLin ...
- 《Vuser虚拟用户开发》读书笔记
学会了Vuser开发只是算了性能测试入了门.要做好性能测试还需要了解系统的功能,架构和设计测试用例. 脚本选用什么协议的依据是需要模拟的客户端与服务器之间的通信采用什么协议.与具体的开发技术并无直接的 ...
- xcode 中 的工程模板
基于视图的应用程序(view-based application) 应用程序如果仅使用一个视图,应该使用这个模板.一个简单的视图控制器会管理应用程序的主视图,而界面布置则使用一个Interface B ...
- mysql已有数据字符集转换
下面模拟把latin1字符集的数据转换为utf8字符集 一.创建测试表和测试数据: 1.修改会话级别的连接字符集 mysql > set names latin1; 查看一下: 2.创建测试表: ...
- ajax (返回类型:text)
<head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8&quo ...
- [问题2014S12] 复旦高等代数II(13级)每周一题(第十二教学周)
[问题2014S12] 设 \(A,B\) 都是 \(n\) 阶半正定实对称阵, 证明: \(AB\) 的所有特征值都是非负实数. 进一步, 若 \(A,B\) 都是正定实对称阵, 证明: \(AB ...