hadoop onekey_step2

#onekey_step2
# Rrogram:
#     安装hadoop简易集群程序
#    使用说明
# History:
#    --    luoqi    v0. release
# email:
#    @qq.com        

#第一阶段阶段
准备主机centos7 minimal 系统语系必须是en
约定主机名为server1 server2 server3 其中server1为master机
三台机器都要操作
.ping通网络
 vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=1fb18314---9f20-65679746085a
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.10.41
PREFIX=
GATEWAY=192.168.10.1
DNS1=61.139.2.69
.修改主机名
echo "server1" > /etc/hostname
echo "NETWORKING=yes" >> /etc/sysconfig/network
echo "HOSTNAME=server1" >> /etc/sysconfig/network
.关闭防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看防火墙状态
.修改hosts文件
vi /etc/hosts
192.168.10.41   server1
192.168.10.42   server2
192.168.10.43   server3
#如果密码不是hadoop则修改密码,由于修改了主机名所以需要重启之后进行下一阶段的操作

第二阶段 在server1上执行
mkdir -p  /apps/soft
将压缩包onekey_step2_v2.tar.gz上传到server1的/apps/soft目录下
解压
chmod g+w onekey_step2
chown -R  root:root ../onekey_step2
检查防火墙,确定防火墙是关闭的

第三阶段开始安装,
#step1
./onekey_install.sh >onekey1.log >&
#切换hadoop用户
su hadoop
#step2
./onekey_step2_hadoop.sh
#中途会需要输入一次yes
#安装完成

#以hadoop用户操作
开始使用
首先需要为当前shell加载环境变量
source /etc/profile
jps查看进程
server2,sever3
su hadoop
source /etc/profile
jps查看进程

################################################################
安装过程解析
#step1
#单机安装后scp到从机
#初始化安装expect命令
#./onekey_init_root.sh
#第一步server1机器上的root用户与server2,server3单向免密
#./onekey_nopasswd.sh
#server1创建hadoop用户
#./onekey_createUser.sh hadoop
#第二步server1安装java
./hadoop_javainstall_root.sh

#第三步server1安装hadoop
./hadoop_install_root.sh

#第四步将java hadoop发送到server2 server3
./hadoop_scp_root.sh

#将下载expect的脚本发送到server2,server3
#在server2上创建用户,修改环境变量,修改/opt文件夹的权限
./hadoop_scpbase_root2.sh

#第五步 本机授权
chown -R  hadoop:root /opt

#第六步 主节点切换到hadoop用户,执行./onekey_step2_hadoop.sh
#step2
#主节点配置hadoop用单向server2,sever3 hadoop用户密,只能运行一次
./onekey_nopasswd.sh

#互信,将免密脚本发送到server2,server3,实现互信 执行一次
#发送脚本
scp ./onekey_nopasswd.sh  hadoop@server2:/opt/
#执行脚本
ssh hadoop@server2 "sh /opt/onekey_nopasswd.sh"

#发送脚本
scp ./onekey_nopasswd.sh  hadoop@server2:/opt/
#执行脚本
ssh hadoop@server2 "sh /opt/onekey_nopasswd.sh"

#在当前shell中加入环境变量
source /etc/profile

#格式化
#可能的修改是要先删除tmp 目录然后再创建
hadoop namenode -format\
#启动hdfs
$HADOOP_HOME/sbin/start-dfs.sh
#测试
cd $HADOOP_HOME;
hdfs dfs -put README.txt  /

#启动YARN
$HADOOP_HOME/sbin/start-yarn.sh
#测试yarn
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6..jar wordcount /README.txt /onekeytest/out

中途需要输入一次yes
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
ECDSA key fingerprint is :::0b:::4b:a8:0b:5e::::6a:f7:fc.
Are you sure you want to continue connecting (yes/no)? yes

QA
.日志中报错,可能是某个节点中防火墙没有关闭
.如果中间卡死检查三台机器是否可以ping通baidu
.安装之后不能正常运行考虑三台机器时间是否同步
.如果需要离线安装需要修改文件,将通过网络安装的expect安装改为本地安装
.安装expect时需要依赖gcc 安装gcc的脚本么有,需要用户二次开发,但是expect的安装脚本已经写好了.
.如果执行step1时一直卡住,可以去掉后面的日志重定向,观察哪里有问题,可能是语系不对导致,expect不能正确执行下去

链接：https://pan.baidu.com/s/1i5KKewd 密码：gjaj