如何部署hadoop集群
假设我们有三台服务器,他们的角色我们做如下划分:
10.96.21.120 master
10.96.21.119 slave1
10.96.21.121 slave2
接下来我们按照这个配置来部署hadoop集群。
1:安装jdk
下载解压。
vi /etc/profile JAVA_HOME=/usr/java/jdk1.6.0_29 CLASS_PATH=$JAVA_HOME/lib:JAVA_HOME/jre/lib:JAVA_HOME/lib/tools.jar:$CLASS_PATH PATH=$JAVA_HOME/bin:$PATH if [ -z "$INPUTRC" -a ! -f "$HOME/.inputrc" ]; then
INPUTRC=/etc/inputrc
fi export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
export CLASS_PATH JAVA_HOME
判断是否安装成功。
java -version javac
2:安装ssh
命令
yum -y install openssh-server openssh-clients
开启sshd服务
chkconfig sshd on
service sshd start
开启端口
/sbin/iptable -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
service iptables save
当然你也可以使22端口只接受某个ip的连接
/sbin/iptables -A INPUT -s 192.168.1.0/24 -m state --state NEW -p tcp --dport 22 -j ACCEPT
service iptables save
配置文件在: /etc/ssh/sshd config
英文地址:http://www.cyberciti.biz/faq/how-to-installing-and-using-ssh-client-server-in-linux/
3:设置host(三台机器都操作)
vi /etc/hosts
10.96.21.120 master
10.96.21.121 slave1
10.96.21.119 slave2
4:创建hadoop账户,并设置本机无密码登陆(三台机器都操作)
创建用户
useradd hadoop
设置密码为空
passwd -d hadoop
切换账户
su - hadoop
生成公私密钥
ssh-keygen -t rsa
到公钥所在的文件夹
cd ~
cd .ssh
追加公钥到信任区域
如果有authorized_keys文件则
cat id_rsa.pub>> authorized_keys
否则
cp id_rsa.pub authorized_keys
测试本机无密码登陆
ssh -p 22 localhost
5:设置master到slave的无密码登陆
到hadoop用户的ssh文件夹(master操作)
su - hadoop
cd ~
cd .ssh
复制公钥到slave1,slave2(master操作)
scp -P 60022 id_rsa.pub root@10.96.21.121:/home/hadoop/.ssh/10.96.21.120
scp -P 60022 id_rsa.pub root@10.96.21.119:/home/hadoop/.ssh/10.96.21.120
添加master的公钥到的slave1,slave2信任区域(slave1,slave2上操作)
su - hadoop
cd ~
cd .ssh
cat 10.96.21.120 >> authorized_keys
启动sshd客户端(master操作)
ssh-agent
添加id_rsa到ssh-agent(添加私钥到客户端)(master操作)
ssh-add id_rsa
验证
ssh -p 60022 slave1
ssh -p 60022 slave2
6:设置hadoop
配置hadoop-env.sh (三台机器都操作)
vi hadoop-env.sh
export JAVA_HOME=/soft/jdk1..0_21
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_SSH_OPTS="-p 60022"
配置core-site.xml(三台机器都操作)
vi core-site.xml <property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop</value>
</property>
配置hdfs-site.xml(三台机器都操作)
vi hdfs-site.xml <property>
<name>dfs.replication</name>
<value>2</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
配置mapred-site.xml(三台机器上操作)
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
配置master(master上操作)
vi masters
master
配置slave(master上操作)
vi slaves
slave1
slave2
设置hadoop用到的目录的权限
mkdir /app/hadoop
chmod 777 /app/hadoop chmod 777 /soft/hadoop (hadoop所在的目录,默认日志要建立在这里)
7:启动集群
格式名称节点(master上操作)
bin/hadoop namenode -format
开启文件系统(master上操作)
bin/start-dfs.sh
开启map
bin/start-mapred.sh
验证
master
26463 Jps
24660 NameNode
25417 JobTracker
24842 SecondaryNameNode
slave
23823 TaskTracker
4636 DataNode
23964 Jps
执行mapreduce程序用到的命令
bin/hadoop fs -rmr output [删除文件夹]
bin/hadoop fs -mkdir input [创建文件夹]
bin/hadoop fs -put /soft/hadoop/file.txt input
bin/hadoop fs -get /user/hadoop/output/part-r-00000
如果要用到第三方类库{比如把结果写到redis中}需要把类库放到每台服务器的lib文件夹下。
注意hostname名称一致
ssh只需要master到slave连通就行,不需要slave之间连通
关闭防火墙
错误:name node is in safe mode hadoop
解决:bin/hadoop dfsadmin -safemode leave
hdfs的web管理界面是http://10.96.21.120:50070/dfshealth.jsp
如何部署hadoop集群的更多相关文章
- Docker部署Hadoop集群
Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章"Hadoop 集群搭建"之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Doc ...
- 批量部署Hadoop集群环境(1)
批量部署Hadoop集群环境(1) 1. 项目简介: 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来 ...
- 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建
准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...
- 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- 阿里云ECS服务器部署HADOOP集群(六):Flume 安装
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...
- 阿里云ECS服务器部署HADOOP集群(七):Sqoop 安装
本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...
- 阿里云ECS服务器部署HADOOP集群(五):Pig 安装
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...
- 阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...
随机推荐
- [转] ES6 import/export:模块导入导出方式
export导出语法 // default exports export default 42; export default {}; export default []; export defaul ...
- vscode下Python设置参考
用于VS代码的Python扩展是高度可配置的.此页面介绍了可以使用的关键设置. 请参阅用户和工作区设置,以了解有关在VS代码中使用设置的更多信息. 常规设置 设置 默认 描述 python.pytho ...
- linux manjaro 配置 pytorch gpu 环境
manjaro目前中国资料偏少,踩了很多坑. 安装gpu版本就这么几个步骤 1 安装英伟达的驱动cuda 2 安装 cudnn 3 安装支持gpu的pytorch 或者其他的运算框架 manja ...
- Codeforces.600E.Lomsat gelral(dsu on tree)
题目链接 dsu on tree详见这. \(Description\) 给定一棵树.求以每个点为根的子树中,出现次数最多的颜色的和. \(Solution\) dsu on tree模板题. 用\( ...
- 11.7 NOIP模拟赛
目录 2018.11.7 NOIP模拟 A 序列sequence(two pointers) B 锁lock(思路) C 正方形square(埃氏筛) 考试代码 B C 2018.11.7 NOIP模 ...
- BZOJ.4566.[HAOI2016]找相同字符(后缀数组 单调栈)
题目链接 给定两个字符串,求它们有多少个相同子串.相同串的位置不同算多个. POJ3145简化版. 后缀自动机做法见这儿,又快又好写(一下就看出差距了..) //13712kb 4076ms #inc ...
- [CodeVS4438]YJQ Runs Upstairs
[CodeVS4438]YJQ Runs Upstairs 题目大意: 一个\(n(n\le50)\)个点\(m(m\le300)\)条边的DAG,保证从\(1\)到\(n\)的所有路径经过边数均小于 ...
- JS 显示周 几和 月 日
function getMyDay(date){ var week; ; var day = date.getDate(); ) week="周日" ) week="周一 ...
- eclipse中出现的一些错误
selection dose not contain a main type解决办法:main忘记加static
- Qt 4.6.2静态编译后,创建工程出现中文乱码的解决办法
一.如果静态编译是用mingw编译的 1)在pro文件里增加QTPLUGIN += qcncodecs 2)在main函数所在的文件里面增加#include <QtPlugin>和Q_IM ...