假设我们有三台服务器,他们的角色我们做如下划分:

10.96.21.120 master

10.96.21.119 slave1

10.96.21.121 slave2

接下来我们按照这个配置来部署hadoop集群。

1:安装jdk

下载解压。

vi /etc/profile

JAVA_HOME=/usr/java/jdk1.6.0_29

CLASS_PATH=$JAVA_HOME/lib:JAVA_HOME/jre/lib:JAVA_HOME/lib/tools.jar:$CLASS_PATH

PATH=$JAVA_HOME/bin:$PATH

if [ -z "$INPUTRC" -a ! -f "$HOME/.inputrc" ]; then
INPUTRC=/etc/inputrc
fi export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
export CLASS_PATH JAVA_HOME

判断是否安装成功。

java -version

javac

2:安装ssh

命令

yum -y install openssh-server openssh-clients

开启sshd服务

chkconfig sshd on
service sshd start

开启端口

/sbin/iptable -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
service iptables save

当然你也可以使22端口只接受某个ip的连接

/sbin/iptables -A INPUT -s 192.168.1.0/24 -m state --state NEW -p tcp --dport 22 -j ACCEPT
service iptables save

配置文件在: /etc/ssh/sshd config

英文地址:http://www.cyberciti.biz/faq/how-to-installing-and-using-ssh-client-server-in-linux/

3:设置host(三台机器都操作)

vi /etc/hosts
10.96.21.120    master
10.96.21.121 slave1
10.96.21.119 slave2

4:创建hadoop账户,并设置本机无密码登陆(三台机器都操作)

创建用户

useradd hadoop

设置密码为空

passwd -d hadoop

切换账户

su - hadoop

生成公私密钥

ssh-keygen -t rsa

到公钥所在的文件夹

cd ~
cd .ssh

追加公钥到信任区域

如果有authorized_keys文件则
cat id_rsa.pub>> authorized_keys
否则
cp id_rsa.pub authorized_keys

测试本机无密码登陆

ssh -p 22 localhost

5:设置master到slave的无密码登陆

到hadoop用户的ssh文件夹(master操作)

su - hadoop
cd ~
cd .ssh

复制公钥到slave1,slave2(master操作)

scp -P 60022 id_rsa.pub root@10.96.21.121:/home/hadoop/.ssh/10.96.21.120
scp -P 60022 id_rsa.pub root@10.96.21.119:/home/hadoop/.ssh/10.96.21.120

添加master的公钥到的slave1,slave2信任区域(slave1,slave2上操作)

su - hadoop
cd ~
cd .ssh
cat 10.96.21.120 >> authorized_keys

启动sshd客户端(master操作)

ssh-agent

添加id_rsa到ssh-agent(添加私钥到客户端)(master操作)

ssh-add id_rsa

验证

ssh -p 60022 slave1
ssh -p 60022 slave2

6:设置hadoop

配置hadoop-env.sh (三台机器都操作)

vi hadoop-env.sh
export JAVA_HOME=/soft/jdk1..0_21
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_SSH_OPTS="-p 60022"

配置core-site.xml(三台机器都操作)

 vi core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop</value>
</property>

配置hdfs-site.xml(三台机器都操作)

vi hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>

配置mapred-site.xml(三台机器上操作)

<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

配置master(master上操作)

vi masters
master

配置slave(master上操作)

vi slaves
slave1
slave2

设置hadoop用到的目录的权限

mkdir /app/hadoop
chmod 777 /app/hadoop chmod 777 /soft/hadoop (hadoop所在的目录,默认日志要建立在这里)

7:启动集群

格式名称节点(master上操作)

bin/hadoop namenode -format

开启文件系统(master上操作)

bin/start-dfs.sh

开启map

bin/start-mapred.sh

验证

master

26463 Jps
24660 NameNode
25417 JobTracker
24842 SecondaryNameNode

slave

23823 TaskTracker
4636 DataNode
23964 Jps

执行mapreduce程序用到的命令

bin/hadoop fs -rmr output  [删除文件夹]
bin/hadoop fs -mkdir input [创建文件夹]
bin/hadoop fs -put /soft/hadoop/file.txt input
bin/hadoop fs -get /user/hadoop/output/part-r-00000

如果要用到第三方类库{比如把结果写到redis中}需要把类库放到每台服务器的lib文件夹下。

注意hostname名称一致

ssh只需要master到slave连通就行,不需要slave之间连通

关闭防火墙

错误:name node is in safe mode hadoop

解决:bin/hadoop dfsadmin -safemode leave

hdfs的web管理界面是http://10.96.21.120:50070/dfshealth.jsp

如何部署hadoop集群的更多相关文章

  1. Docker部署Hadoop集群

    Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章"Hadoop 集群搭建"之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Doc ...

  2. 批量部署Hadoop集群环境(1)

    批量部署Hadoop集群环境(1) 1. 项目简介: 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来 ...

  3. 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  4. 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  6. 阿里云ECS服务器部署HADOOP集群(六):Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  7. 阿里云ECS服务器部署HADOOP集群(七):Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  8. 阿里云ECS服务器部署HADOOP集群(五):Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  9. 阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

随机推荐

  1. [转] ES6 import/export:模块导入导出方式

    export导出语法 // default exports export default 42; export default {}; export default []; export defaul ...

  2. vscode下Python设置参考

    用于VS代码的Python扩展是高度可配置的.此页面介绍了可以使用的关键设置. 请参阅用户和工作区设置,以了解有关在VS代码中使用设置的更多信息. 常规设置 设置 默认 描述 python.pytho ...

  3. linux manjaro 配置 pytorch gpu 环境

    manjaro目前中国资料偏少,踩了很多坑. 安装gpu版本就这么几个步骤 1 安装英伟达的驱动cuda  2 安装 cudnn   3 安装支持gpu的pytorch 或者其他的运算框架 manja ...

  4. Codeforces.600E.Lomsat gelral(dsu on tree)

    题目链接 dsu on tree详见这. \(Description\) 给定一棵树.求以每个点为根的子树中,出现次数最多的颜色的和. \(Solution\) dsu on tree模板题. 用\( ...

  5. 11.7 NOIP模拟赛

    目录 2018.11.7 NOIP模拟 A 序列sequence(two pointers) B 锁lock(思路) C 正方形square(埃氏筛) 考试代码 B C 2018.11.7 NOIP模 ...

  6. BZOJ.4566.[HAOI2016]找相同字符(后缀数组 单调栈)

    题目链接 给定两个字符串,求它们有多少个相同子串.相同串的位置不同算多个. POJ3145简化版. 后缀自动机做法见这儿,又快又好写(一下就看出差距了..) //13712kb 4076ms #inc ...

  7. [CodeVS4438]YJQ Runs Upstairs

    [CodeVS4438]YJQ Runs Upstairs 题目大意: 一个\(n(n\le50)\)个点\(m(m\le300)\)条边的DAG,保证从\(1\)到\(n\)的所有路径经过边数均小于 ...

  8. JS 显示周 几和 月 日

    function getMyDay(date){ var week; ; var day = date.getDate(); ) week="周日" ) week="周一 ...

  9. eclipse中出现的一些错误

    selection dose not contain a main type解决办法:main忘记加static

  10. Qt 4.6.2静态编译后,创建工程出现中文乱码的解决办法

    一.如果静态编译是用mingw编译的 1)在pro文件里增加QTPLUGIN += qcncodecs 2)在main函数所在的文件里面增加#include <QtPlugin>和Q_IM ...