Hadoop2.6.0完全分布式安装
本文地址:http://www.cnblogs.com/myresearch/p/hadoop-full-distributed-operation.html,转载请注明源地址。
我这边是使用了两台主机搭建集群,主机名与IP地址对应如下:
master 192.168.111.131
slave1 192.168.111.135
然后在该主机的 /etc/hostname 中,修改机器名为master,将其他主机命令为slave1、slave2等。接着在 /etc/hosts 中,把所有集群的主机信息都写进去。
hadoop@ubuntu:~$ sudo vim /etc/hostname hadoop@ubuntu:~$ sudo vim /etc/hosts
127.0.0.1 localhost
192.168.111.131 master
192.168.111.135 slave1
完成后,最好重启一下,在终端中才会看到机器名的变化。
配置好后可以在各个主机上执行ping Master
和ping Slave1
测试一下,看是否相互ping得通。
在slave主机上配置hadoop用户、安装SSH server、安装Java环境
SSH无密码登陆节点
首先生成master的公钥,实现本机的无密码登录,具体方法可参照《Hadoop2.6.0单机/伪分布式安装》
用ssh master验证:
hadoop@master:~$ ssh master
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
Last login: Wed May 13 22:38:37 2015 from master
接着将公匙传输到 slave1 节点:
hadoop@master:~$ scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
接着在 slave1节点
上将ssh公匙保存到相应位置,执行:
hadoop@slave1:~/.ssh$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
最后在 Master 节点上就可以无密码SSH到Slave1节点:
hadoop@master:~$ ssh slave1
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
545 packages can be updated.
188 updates are security updates.
Last login: Thu May 14 01:33:14 2015 from slave1
配置分布式环境
分布式模式需要修改 etc/hadoop 中的5个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
1. 文件slaves
直接打开slave文件,也可以使用vim打开
把文件中的localhost删除,把所有Slave的主机名写上,每行一个。
2. core-site.xml

<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/opt/hadoop-2.6.0/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration>

3. hdfs-site.xml,因为只有一个slave,所以dfs.replication的值设为1。

<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/opt/hadoop-2.6.0/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/opt/hadoop-2.6.0/tmp/dfs/data</value> </property> </configuration>

4. mapred-site.xml
这个文件不存在,首先需要从模板中复制一份:
hadoop@master:~/opt/hadoop-2.6.0/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml
然后配置修改如下:

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

5. yarn-site.xml:

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

配置好后,将 master 上的 Hadoop 文件复制到各个节点上。

hadoop@master:~$ cd ~/opt/hadoop-2.6.0 hadoop@master:~/opt/hadoop-2.6.0$ rm -r tmp hadoop@master:~/opt/hadoop-2.6.0$ cd hadoop@master:~$ cd ~/opt hadoop@master:~/opt$ sudo tar -zcf ./hadoop-2.6.0.tar.gz ./hadoop-2.6.0 [sudo] password for hadoop: hadoop@master:~/opt$ scp ./hadoop-2.6.0.tar.gz slave1:/home/hadoop/opt

在slave1上面执行:
hadoop@slave1:~/opt$ sudo tar -zxf hadoop-2.6.0.tar.gz hadoop@slave1:~$ sudo chown -R hadoop:hadoop /home/hadoop/opt/hadoop-2.6.0
接下来在master节点上启动hadoop:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs namenode -format hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-dfs.sh hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-yarn.sh
通过jps查看各个节点所启动的进程,首先查看master:
3815 NameNode
4009 SecondaryNameNode
4330 Jps
4143 ResourceManager
可以看到master节点启动了NameNode、SecondaryNameNode、ResourceManager进程。
接着查看slave1:
3606 Jps
3510 NodeManager
3390 DataNode
slave节点则启动了DataNode和NodeManager进程。
另外也可以在master节点上通过命令bin/hdfs dfsadmin -report查看DataNode是否正常启动。
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs dfsadmin -report
Configured Capacity: 20474130432 (19.07 GB)
Present Capacity: 14381412352 (13.39 GB)
DFS Remaining: 14381387776 (13.39 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 192.168.111.135:50010 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 20474130432 (19.07 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6092718080 (5.67 GB)
DFS Remaining: 14381387776 (13.39 GB)
DFS Used%: 0.00%
DFS Remaining%: 70.24%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu May 14 02:28:49 PDT 2015
也可以通过Web页面看到查看DataNode和NameNode的状态,http://master:50070/
关闭Hadoop集群也是在master节点上执行:
$ sbin/stop-dfs.sh $ sbin/stop-yarn.sh
执行WordCount实例
执行WordCount实例过程与伪分布式模式一样。首先创建所需的几个目录:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs dfs -mkdir -p /user/hadoop
将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs dfs -put etc/hadoop input
接着就可以运行MapReduce作业:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'
显示运行时的信息、Job的进度。整个过程可能会比较慢
同样可以通过Web界面查看任务进度 http://master:8088/cluster
Hadoop2.6.0完全分布式安装的更多相关文章
- hadoop-2.6.0为分布式安装
hadoop-2.6.0为分布式安装 伪分布模式集群规划(单节点)------------------------------------------------------------------- ...
- Hadoop系列(二)hadoop2.2.0伪分布式安装
一.环境配置 安装虚拟机vmware,并在该虚拟机机中安装CentOS 6.4: 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修 ...
- Ubuntu16.04 Hadoop2.6.0伪分布式安装与启动中遇到的问题
1.安装JDK1.8,下载安装包解压至 /usr/lib/jdk vim /etc/profile #配置路径 export JAVA_HOME= /usr/lib/jdk export JRE_HO ...
- hadoop2.2.0伪分布式安装
修改主机名和IP的映射关系 vi /etc/hosts 192.168.61.134 hadoop 关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 serv ...
- 琐碎-hadoop2.2.0伪分布式和完全分布式安装(centos6.4)
环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1s ...
- hadoop2.2.0+hive-0.10.0完全分布式安装方法
hadoop+hive-0.10.0完全分布式安装方法 1.jdk版本:jdk-7u60-linux-x64.tar.gz http://www.oracle.com/technetwork/cn/j ...
- Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...
- 在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
- 基于Hadoop2.2.0版本号分布式云盘的设计与实现
基于Hadoop2.2.0版本号分布式云盘的设计与实现 一.前言 在学习了hadoop2.2一个月以来,我重点是在学习hadoop2.2的HDFS.即是hadoop的分布式系统,看了非常久的源代码看的 ...
随机推荐
- iOS 开发压缩--SSZipArchive
// 解压 NSString *zipPath = @"被解压的文件路径"; NSString *destinationPath = @"解压到的目录"; [S ...
- MYSQL 当有两条重复数据时 保留一条
delete from test where id in (select id from (select max(id) as id,count(text) as count from test ...
- 有直接运行的runas命令,XP就有
net user administrator /active:yes runas /user:ComputerName\Administrator /savecred “C:\Path\To\Prog ...
- iOS 深拷贝和浅拷贝
注意,本文只说结论不说过程 1. 对于系统的非容器类对象,我们可以认为,如果对一不可变对象复制,copy是指针复制(浅拷贝)和mutableCopy就是对象复制(深拷贝).如果是对可变对象复制,都是深 ...
- 【重走Android之路】【Java面向对象基础(一)】数据类型与运算符
[重走Android之路][基础篇(一)][Java面向对象基础]数据类型与运算符 1.数据类型介绍 在Java中,数据类型分为两种:基本数据类型和引用类型. 基本数据类型共8种,见下表: 基本数 ...
- EXT实现表格斑马线
Ext.grid.GridPanel 单双行颜色样式(斑马线)2014-04-03 11:25 1078人阅读 评论(0) 收藏 举报分类:ExtJs(36)Ext.grid.GridPanel st ...
- angularjs $watch demo
<!doctype html> <html lang="en" ng-app> <head> <meta charset="UT ...
- node-odata: 基于 NodeJS 的 REST 框架
该开源项目目前已被 OData 官网 (odata.org)收录 关于 node-odata node-odata 可以让你轻松创建 REST API, 并能使用 OData 协议的格式进行数据的查询 ...
- 【CCS仿真】用matlab把CCS保存的32位16进制的数据转换为十进制的数
2013-12-04 16:37:28 使用fscanf函数即可完成. 例如,CCS保存的.dat文件Copy_of_forward_i_f.dat如下: 1651 1 81008800 0 4000 ...
- C# 中通过API实现的打印类
using System;using System.Collections;using System.Text;using System.Runtime.InteropServices; using ...