分布式Hadoop安装(一)
本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署
writen by Bob Pan@20140609
环境介绍:
主机名 |
机器IP |
用途 |
描述 |
Hadoop0 |
192.168.80.101 |
Namenode secondaryNamenode jobTracker |
CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 |
Hadoop1 |
192.168.80.102 |
Datanode taskTracker |
CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 |
1、 安装JDK
a) 把 jdk 移动到/usr/local 目录下。进入到/usr/local 目录下,通过“.”解压文件
i. ./jdk-6u24-linux-i586.bin
b) 将解压后的目录jdk1.6.0_24重命名为jdk
i. mv jdk1.6.0_24/ jdk
c) 将jdk配置到环境变量中,设置全局环境变量,文件“/etc/profile”后添加:
i. export JAVA_HOME=/usr/local/jdk
ii. export PATH=.:$PATH:$JAVA_HOME/bin
d) 执行Source命令
i. #source /etc/profile
e) “export”是关键字,用于设置环境变量。我们设置了两个环境变量,一个是 JAVA_HOME,一个是 PATH。对于环境变量的引用,使用“$”,多个环境变量之间的连接,使用“:”。大家在设置环境变量的时候,一定与 windows 下的操作区分开,不要混淆。命令“source”是为了让文件中的设置立刻生效。
f) 执行java –version命令
2、 关闭防火墙
a) 执行Setup命令
b) 选择“Firewall configuration”,然后按回车;
c) 关闭防火墙,只需要按一下空格键,符号“*”就会消失。最后使用“tab”键移动到“OK”,回车,一步步退出就行了。
d) 检查防火墙是否关闭命令“service iptables status”
3、 设置DNS解析
a) 打开etc/sysconfig/network
b) 修改为“HOSTNAME=hadoop0”(hadoop1)
c) reboot
4、 Hadoop0设置SSH免密码登录
a) ssh-keygen –t rsa
b) 三次回车
c) cd .ssh/
d) ls –l
e) cp id_rsa.pub authorized_keys
f) ssh localhost验证
5、 Hadoop1设置SSH免密码登录
a) 同上
6、 配置hadoop0和hadoop1的/etc/hosts
a) 每个节点均添加了所有节点的 ip 与主机名映射
b) 192.168.80.101 hadoop0
c) 192.168.80.102 hadoop1
7、 集群间SSH免密码登录
a) 在hadoop0执行命令:ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1
b) 在hadoop1执行命令:ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop0
8、 Hadoop压缩包上传至hadoop0节点的/usr/local目录下
9、 Hadoop0节点解压缩hadoop
a) tar -xzvf hadoop-1.1.2.tar.gz
10、Hadoop0节点解压缩后的文件夹重命名
a) #mv hadoop-1.1.2 hadoop
11、 设置Hadoop0节点的环境变量
alias cdha=’cd /usr/local/hadoop’
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
12、修改hadoop0节点的Hadoop配置文件
a) 修改hadoop-env.sh
第9行改为:export JAVA_HOME=/usr/local/jdk(去掉前面的#)
b) 修改hadoop核心配置文件core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
c) 修改hdfs配置文件hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
d) 修改MapReduce 配置文件 mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
13、在hadoop0节点执行命令,将hadoop0节点的hadoop文件夹复制到hadoop1节点
a) scp -rq /usr/local/hadoop hadoop1:/usr/local
b) scp -rq /etc/profile hadoop1:/etc
c) ssh hadoop1
d) exit
14、配置hadoop0节点的集群核心文件slaves
a) 打开/conf/slaves文件后,修改为hadoop1.
b) 修改后,意味着在节点 hadoop1运行datanode和tasktracker节点.
15、格式化文件系统
a) hadoop namenode –format
16、启动集群
a) 在节点 hadoop0 中执行命令:start-all.sh
17、Hadoop0节点jps验证,SecondaryNameNode、NameNode、JobTracker,处于运行状态。
18、Hadoop1节点jps验证,DataNode、TaskTracker,处于运行状态。
分布式Hadoop安装(一)的更多相关文章
- 分布式Hadoop安装(二)
二.集群环境安装Zookeeper 1. hadoop0,namenode机器下,配置zookeeper,先解压安装包. 使用命令:tar -zxvf zookeeper-3.4.4. ...
- VMwareWorkstation 平台 Ubuntu14 下安装配置 伪分布式 hadoop
VMwareWorkstation平台Ubuntu14下安装配置伪分布式hadoop 安装VmwareStation 内含注册机. 链接:https://pan.baidu.com/s/1j-vKgD ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- Hadoop 在windows 上伪分布式的安装过程
第一部分:Hadoop 在windows 上伪分布式的安装过程 安装JDK 1.下载JDK http://www.oracle.com/technetwork/java/javaee/d ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...
- Hadoop安装教程_单机/伪分布式配置
环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统(可参考使用VirtualBox安装CentOS).如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoo ...
- Hadoop:Hadoop单机伪分布式的安装和配置
http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...
- 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04
下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...
- 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...
随机推荐
- 如何将windows server 2008R2打造成桌面系统
>在工作中有没有遇到这样的情况,因某些应用需要使用到服务器版系统,为了方便就将自己的机器安装成服务器版,这样一来客户版系统的易用性和更好的体验就不能用了,有木有--呵呵,下面以windows s ...
- android4.3 Bluetooth(le)分析之startLeScan分析
BluetoothAdapter.java中有low enery(le)的一些方法,android提供了这些方法,但源码中并未找到这些方法的调用之处.本文档主要分析这类方法的执行流程,来了解下le到底 ...
- sql语句练习50题
Student(Sid,Sname,Sage,Ssex) 学生表 Course(Cid,Cname,Tid) 课程表 SC(Sid,Cid,score) 成绩表 Teacher(Tid,Tname) ...
- PowerDesigner 建模
File—New Model—Physical Data Model—Physical Diagram—Model name设置为test,DBMS属性设置为Microsoft SQL Server ...
- javascript 对象属性的get set访问器写法
function Person() { var age = new Date().getFullYear() - 18; Object.defineProperty(this, &qu ...
- java里的static和final
本节介绍JAVA里static和final的作用和使用方法以及一些需要注意的问题. 一.static static表示"全局"或"静态",用来修饰成员变量和成员 ...
- React和ES6(二)ES6的类和ES7的property initializer
React与ES6系列: React与ES6(一)开篇介绍 React和ES6(二)ES6的类和ES7的property initializer React与ES6(三)ES6类和方法绑定 React ...
- CF - 405B - Domino Effect
my english is poor 给你一列全部站立的骨牌,同时向左或向右推其中的几个 保证推得方式为: ...左,右,左,右,左... 即不存在两个相邻的又往相同方向推倒的 刚开始是从左往右一个一 ...
- Coins(HDU 2844):一个会超时的多重背包
Coins HDU 2844 不能用最基础的多重背包模板:会超时的!!! 之后看了二进制优化了的多重背包. 就是把多重转变成01背包: 具体思路见:http://www.cnblogs.com/tt ...
- 我使用中的Linux命令和快捷键(For Ubuntu)
虽然自己工作一直都在MS的平台体系,自然很多的工作都需要在windows上完成,自己的电脑也一直使用windows操作系统,但是笔记本配置不是很好,导致装windows 8后,笔记本卡的难以忍受.想想 ...