hadoop安装详解
1.hadoop简介
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。
1.2.环境说明
192.168.253.139 master.hadoop
192.168.253.140 slave.hadoop
两个节点均是centos系统,并且有一个相同的用户hadoop,master机器主要配置namenode和jobtracker的角色,负责总管分布式数据和分解任务的执行,1个slave机器配置datanode和tasktracker的角色,负责分布式数据存储以及任务的执行。还应该有对master做高可用。
1.3 网络配置
可以配置其master主机名名字为master.hadoop,ip为192.168.253.139
配置slave服务器的名字为slave.hadoop,ip为192.168.253.140.(为防止两个服务器连接问题,暂时关闭防火墙 service iptables stop)
1.4下载所需要的软件(见附件)
2.ssh无密码验证设置
hadoop运行过程中需要管理远端hadoop守护程序,在hadoop启动以后,namenode是通过ssh来启动和停止各个datanode的各种守护进程,这就必须在节点之间执行指令的时候是不需要输入密码的形式,故我们需要配置SSH运用无密码公钥认证的形式,这样NameNode使用SSH无密码登录并启动DataName进程,同样原理,DataNode上也能使用SSH无密码登录到NameNode。
2.1 安装和启动ssh协议,实现两个服务器的双机互信
1
2
3
4
5
6
|
192.168 . 253.139 [root@master ~] # ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' [root@master ~] # ssh-copy-id -i .ssh/id_rsa.pub root@192.168.253.140 192.168 . 253.140 [root@slave ~] # ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' [root@slave ~] # ssh-copy-id -i .ssh/id_rsa.pub root@192.168.253.139 |
在192.168.253.139主机上测试,可以实现无密码登录192.168.253.140,同样的方法测试slave服务器
3.java环境安装
所有的机器都要安装JDK,现在现在master服务器上安装,然后其他服务器按照步骤重复进行即可,安装jdk配置环境变量,需要以root身份进行,
3.1安装JDK
使JDK获得可执行权限,并进行如下步骤,进行安装(下载JDK文件到/usr/src)
1
2
3
|
[root@master ~] # cd /usr/src [root@master ~] # chmod +x jdk-6u31-linux-x64-rpm.bin [root@master ~] # ./jdk-6u31-linux-x64-rpm.bin |
3.2添加java环境变量
在"/etc/profile"加入如下行
1
2
3
|
export JAVA_HOME=/usr/java/jdk1. 6 .0_31 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin |
使定义生效
source /etc/profile
3.3 验证安装成功
配置完毕并且生效后,通过下面命令判断是否成功
3.4 使用此种方法安装剩余的slave机器,
4.hadoop集群安装
所有的机器都要安装hadoop,先从master服务器安装,
4.1 安装hadoop
1
2
3
4
5
6
7
8
|
[root@master ~] # useradd hadoop [root@master ~] # passwd hadoop hadoop [root@master ~] # cd /usr/src/ [root@master src] # tar xf hadoop-1.0.0.tar.gz [root@master src] # mv hadoop-1.0.0 hadoop [root@master src] #mv hadoop /usr/ [root@master usr] # chown -R hadoop:hadoop hadoop |
建立hadoop环境变量
vim /etc/profile
1
2
|
export HADOOP_HOME = / usr / hadoop export PATH = $PATH:$HADOOP_HOME / bin |
使环境变量生效
source /etc/profile
4.2配置hadoop
hadoop配置文件位于/usr/hadoop/conf
1.配置hadoop-env.sh文件,在末尾添加如下两行
1
2
|
# set java environment export JAVA_HOME = / usr / java / jdk1. 6.0_31 |
Hadoop配置文件在conf目录下,之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于Hadoop发展迅速,代码量急剧增加,代码开发分为了core,hdfs和map/reduce三部分,配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件;core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。
配置core-site.xml文件,这里配置的是HDFS的地址和端口号
如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错。
配置hdfs-site.xml文件,HDFS的配置,配置的备份方式默认为3
replication是数据副本数量,默认为3,slave少于三台会报错,此例是1
配置mapred-site.xml文件,配置的JobTracker的地址和端口
配置master文件
去掉localhost,加入192.168.253.139(master服务器)的ip地址
配置slave文件
去掉localhost,加入192.168.253.140(slave服务器)的ip地址
4.3启动及验证
格式化HDFS文件系统
在格式化文件系统时,使用普通用户进行操作
hadoop namenode -format
使用下面命令启动
/usr/hadoop/bin/start-all.sh
可以通过以下启动日志看出,首先启动namenode 接着启动datanode1,datanode2,…,然后启动secondarynamenode。再启动jobtracker,然后启动tasktracker1,tasktracker2,…。
启动 hadoop成功后,在 Master 中的 tmp 文件夹中生成了 dfs 文件夹,在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。
参考文章:http://developer.51cto.com/art/201206/344046_1.htm
hadoop安装详解的更多相关文章
- Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作
一.前言 目前Hadoop发行版非常多,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并 ...
- Hadoop 发行版本 Hortonworks 安装详解(二) 安装Ambari
一.通过yum安装ambari-server 由于上一步我们搭建了本地源,实际上yum是通过本地源安装的ambari-server,虽然也可以直接通过官方源在线安装,不过体积巨大比较费时. 这里我选择 ...
- hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
- Phoenix和SQuirrel安装详解
Phoenix安装详解 描述 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等.今天的主角是Phoenix. phoenix,中文译为“凤凰” ...
- Python API 操作Hadoop hdfs详解
1:安装 由于是windows环境(linux其实也一样),只要有pip或者setup_install安装起来都是很方便的 >pip install hdfs 2:Client——创建集群连接 ...
- Hadoop Pipeline详解[摘抄]
最近使用公司内部的一个框架写map reduce发现没有封装hadoop streaming这些东西,查了下pipeline相关的东西 Hadoop Pipeline详解 20. Aug / had ...
- Linux ssh登录和软件安装详解
阿哲Style Linux第一天 ssh登录和软件安装详解 Linux学习第一天 操作环境: Ubuntu 16.04 Win10系统,使用putty_V0.63 本身学习Linux就是想在服务器 ...
- 【转】Linux下Android ADB驱动安装详解
原文网址:http://blog.csdn.net/zhenwenxian/article/details/5901350 Linux下Android ADB驱动安装详解 概述 最近由于内置的合作商比 ...
- scribefire 多博客管理利器 安装详解
scribefire 多博客管理利器 安装详解 一.ScribeFire介绍 ScribeFire 是 Firefox (火狐浏览器)上著名的博客写作工具,目前已跨平台支持多浏览器(Firefox,C ...
随机推荐
- 退出myeclipse 8.5配置中心
用myeclipse 8.5没多久,进入软件中心下载插件,找不到退出按钮,唉,木想到就是一图标.
- PHP上传遇到的问题-php 上传大文件主要涉及配置upload_max_filesize和post_max_size两个选项
今天在做上传的时候出现一个非常怪的问题,有时候表单提交可以获取到值,有时候就获取不到了,连普通的字段都获取不到了,苦思冥想还没解决,最后问了师傅,师傅看了说挺奇怪的,然后问我upload_max_fi ...
- WinForm实现简单的拖拽文件到出题的功能(C#)(3)
string path = ((System.Array)e.Data.GetData(DataFormats.FileDrop)).GetValue(0).ToString(); textBox1. ...
- javascript 简单的计算器
<%@ Page Language="C#" AutoEventWireup="true" CodeBehind="WebForm1.aspx. ...
- 【HDOJ】3473 Minimum Sum
划分树解.主席树解MLE. /* 3473 */ #include <iostream> #include <sstream> #include <string> ...
- [ffmpeg 扩展第三方库编译系列] 关于需要用到cmake 创建 mingw32编译环境问题
我在这里给出我编译的例子 cmake -G"MinGW Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=& ...
- 【转】google play上传应用
原文网址:https://support.google.com/googleplay/android-developer/answer/113469?hl=zh-Hans 注册 Google Play ...
- 在 ASP.NET MVC4 中使用 NInject
Ninject是一个快如闪电.超轻量级的基于.Net平台的依赖注入框架.它能够帮助你把应用程序分离成一个个松耦合.高内聚的模块,然后用一种灵活的方式组装起来.通过使用Ninject配套你的软件架构,那 ...
- C# 中的装箱与拆箱
转角撞倒猪 原文 C# 中的装箱与拆箱 装箱:将一个数据项(副本)从栈中自动复制到堆中的行为. int i = 8; object o = i; // 装箱 // 首先在堆中开辟出一片区域,再将 ...
- MySQL中间层 Atlas
Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目.它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bu ...