利用Ambari平台安装与部署Hadoop
* 本篇是利用Ambari平台安装与部署Hadoop，如果需要原生部署Hadoop，请点击以下地址：
https://www.cnblogs.com/live41/p/15467263.html
一、环境要求
1.支持的组件版本
https://supportmatrix.hortonworks.com/
本文以Ambari 2.7.3.0为例，支持的组件的版本如下（部分）：
Ubuntu 18.04、16.04、14.04（Ambari 2.7.1和2.7.0只支持Ubuntu 16.04）
MySQL 5.7（只支持InnoDB引擎）
JDK 8（至少1.8.0_77以上版本）
2.软件要求
Python（带有python-devel*）
Ambari Metrics Monitor用到一个python库(psutil)，该库依赖gcc和python-devel包。
3.最大打开文件数要求
推荐的最小打开文件数是10000或更多。
(1) 可通过以下命令查询当前数量：
ulimit -Hn #查看硬限制
ulimit -Sn #查看软限制
(2) 如果低于10000，可执行以下命令修改：
ulimit -n 100 #同时设定两个限制
附：ulimit命令的其它参数说明
ulimit -Hn 100 #设定硬限制
ulimit -Sn 100 #设定软限制
二、操作系统及网络配置
* 以下操作每台机都需要执行一次。
1.调整时区
tzselect
选择Asia -> China -> Beijing
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
修改后可输入date -R确认时间
* 如果部署过程遇到一些莫名其妙的错误，或者日志的时间是错的，先用date -R检查一下时区是否正确。
2.修改主机名
假定有4台机，用户名分别为c1、c2、c3、c4。
* 主机名要设置为FQDN（fully.qualified.domain.name）格式，否则安装时会报警。
(1) 修改cloud.cfg配置让新主机名变成默认（如果不修改此属性，则重启后会恢复原有主机名）
vim /etc/cloud/cloud.cfg
把preserve_hostname参数的false改成true
* 如果cloud.cfg没有此属性，可以直接在cloud_init_modules模块前添加preserve_hostname:true
(2) 修改每台机的主机名
hostnamectl set-hostname 主机名
4台机分别改为（这里只是举例，可自定义名字）：
c1.clotho.com
c2.clotho.com
c3.clotho.com
c4.clotho.com
修改后重启系统。
3.修改IP
假定有4台机，用户名分别为c1、c2、c3、c4，网关是192.168.100.1，4台机的IP分别为：
c1 192.168.100.105
c2 192.168.100.110
c3 192.168.100.115
c4 192.168.100.120
修改50-cloud-init.yaml文件（有的Ubuntu版本是00-installer-config.yaml文件）
vim /etc/netplan/50-cloud-init.yaml
修改每台机的addresses和gateway4参数，例如c2的是addresses: [192.168.100.110/24]，gateway4: 192.168.100.1。
network:
ethernets:
enp2s0:
addresses: [192.168.1.6/24]
gateway4: 192.168.1.1
nameservers:
addresses: [114.114.114.114, 202.96.128.86]
dhcp4: no
optional: no
version: 2
修改保存后更新
netplan apply
4.修改DNS
vim /etc/hosts
在末尾加入以下：
192.168.100.105 c1.clotho.com
192.168.100.110 c2.clotho.com
192.168.100.115 c3.clotho.com
192.168.100.120 c4.clotho.com
5.配置ssh免密登录
(1) 进入ssh密钥信息目录（在所有机执行）
cd /root/.ssh
(2) 生成ssh密钥（在所有机执行）
ssh-keygen -t rsa -P ''
cat id_rsa.pub >> authorized_keys
(3) 修改权限（在所有机执行）
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
(4) 修改scp（在所有机执行）
vim /etc/ssh/sshd_config
把PermitRootLogin no中的no改成yes，如果原来没有这行或被注释掉，就直接加上或反注释。
systemctl restart sshd
(5) 复制另外几台机的密钥到c1（在c1执行）
scp root@C2:/root/.ssh/authorized_keys c2key
scp root@C3:/root/.ssh/authorized_keys c3key
scp root@C4:/root/.ssh/authorized_keys c4key
(6) 合并成一个密钥文件（在c1执行）
cat c2key c3key c4key >> authorized_keys
(7) 把合并后的密钥文件复制回另外几台机并覆盖原文件（在c1执行）
scp authorized_keys root@C2:/root/.ssh/authorized_keys
scp authorized_keys root@C3:/root/.ssh/authorized_keys
scp authorized_keys root@C4:/root/.ssh/authorized_keys
(8) 测试（在c1执行）
ssh c2
如果没提示输入密码即为生效。
6.安装和启动ntp
NTP是通过网络来同步时间的一种TCP/IP协议
apt install ntp
update-rc.d ntp defaults #设置开机自启动
附：关闭开机自启动
update-rc.d -f ntp remove
7.关闭iptables
ufw disable
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT
8.关闭SELinux
apt install selinux-utils
setenforce 0
三、安装环境软件
* 以下操作每台机都需要执行一次。
1.安装JDK
JDK版本至少要1.8.0_77以上，见第1点。
https://www.cnblogs.com/live41/p/14235891.html
2.安装Python
提示：根据第2点的要求，需要安装python-devel
apt install python2.7 python2.7-dev
四、安装数据库
1.安装MySQL
Ambari默认是安装PostgreSQL，如果需要使用MySQL，需要预先安装和配置。只找一台机装即可。
(1) 安装MySQL步骤
https://www.cnblogs.com/live41/p/14235866.html
2.安装MySQL Connector
(1) 下载安装包
https://dev.mysql.com/downloads/connector/j/
(2) 上传包和安装
rz
选择(1)下载的安装包上传
dpkg -i mysql-connector-java_8.0.16-1ubuntu18.04_all.deb
请根据实际情况修改安装包的名字
==========下面第3-8点，登录MySQL后，操作完第3-8点再退出==========
mysql -u root -p
3.创建Ambari账号和权限
CREATE USER 'ambari'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
CREATE USER 'ambari'@'c1.clotho.com' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'c1.clotho.com';
FLUSH PRIVILEGES;
其中ambari是用户名，123456是密码，c1.clotho.com是域名(FQDN)，可自定义。
4.赋予Ranger组件MySQL权限
如果使用MySQL来存储Ranger组件的数据，需要先赋予Ranger账号超管权限。且存储引擎必须支持事务，例如InnoDB。
(1) 创建用户ranger，密码也是123456，赋予权限
CREATE USER 'ranger'@'localhost' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'localhost';
CREATE USER 'ranger'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'localhost' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;
(2) 安装Ambari前，需要把log_bin_trust_function_creators设置为1，安装完成后可设置回0。
SET GLOBAL log_bin_trust_function_creators = 1;
5.赋予Hive组件MySQL权限
账号是hive，密码是123456，域名(FQDN)是c1.clotho.com
CREATE USER 'hive'@'localhost' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'c1.clotho.com' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'c1.clotho.com';
FLUSH PRIVILEGES;
6.配置SAM和Schema Registry在MySQL的元数据库
(1) 创建元数据库
CREATE DATABASE registry DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE streamline DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
(2) 创建账号，密码123456
CREATE USER 'registry'@'%' IDENTIFIED BY '123456';
CREATE USER 'streamline'@'%' IDENTIFIED BY '123456';
(3) 配置权限
GRANT ALL PRIVILEGES ON registry.* TO 'registry'@'%' WITH GRANT OPTION ;
GRANT ALL PRIVILEGES ON streamline.* TO 'streamline'@'%' WITH GRANT OPTION ;
(4) 提交修改操作
commit;
7.配置Druid和Superset Metadata在MySQL的元数据库
(1) 创建元数据库
CREATE DATABASE druid DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE superset DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
(2) 创建账号，密码123456
CREATE USER 'druid'@'%' IDENTIFIED BY '123456';
CREATE USER 'superset'@'%' IDENTIFIED BY '123456';
(3) 配置权限
GRANT ALL PRIVILEGES ON *.* TO 'druid'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'superset'@'%' WITH GRANT OPTION;
(4) 提交修改操作
commit;
==========执行完第3-8点后，退出MySQL==========
exit;
五、安装Ambari
1.使用本地源安装(可选)
(1) 搭建本地源
https://www.cnblogs.com/live41/p/14236916.html
(2) 创建源列表文件
在/etc/apt/sources.list.d目录下新增2个文件，并输入源信息。
ambari.list
deb http://127.0.0.1/ambari/ubuntu18/2.7.3.0-139/ Ambari main
ambari-hdp.list
deb http://127.0.0.1/HDP-GPL/ubuntu18/3.1.0.0-78/ HDP-GPL main
deb http://127.0.0.1/HDP-UTILS/ubuntu18/1.1.0.22/ HDP-UTILS main
deb http://127.0.0.1/HDP/ubuntu18/3.1.0.0-78/ HDP main
* 如果nginx的server配置的是192.168.100.105，这里的127.0.0.1就要替换成192.168.100.105
(3) 添加密钥（在所有机执行）
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
(4) 更新源信息（在所有机执行）
apt update
(5) 检查
apt-cache showpkg ambari-server
apt-cache showpkg ambari-agent
apt-cache showpkg ambari-metrics-assembly
2.安装Ambari
apt install ambari-server
3.创建Ambari库
(1) 登录MySQL
mysql -u root -p
(2) 创建数据库，载入数据表及数据
CREATE DATABASE ambari;
USE ambari;
SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
* 安装了ambari-server后，/var/lib/ambari-server/resources目录下会存在Ambari-DDL-MySQL-CREATE.sql文件。
4.配置Ambari
ambari-server setup
(1) Customize user account for ambari-server daemon?
选n
(2) 选JDK版本
选2
输入JDK安装路径，一般是/usr/bin/jdk1.8.0/
(3) Enable Ambari Server to download and install GPL Licensed LZO packages?
选n
(4) Enter advanced database configuration?
选y
(5) 选数据库
选3
Hostname:localhost
Port:3306
Database:ambari
Username: root（上面用ambari这里就用ambari，上面用root这里就用root）
Password: 123456
(6) 设置Ambari的JDBC组件
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
5.启动Ambari
ambari-server start
* Ambari地址的默认端口是8080
6.使用Ambari平台安装Hadoop组件
(1) 打开Ambari平台
在浏览器输入http://192.168.100.105:8080（以c1作为Ambari的主机）
(2) 登录
默认的用户名和密码都是admin
(3) 开始安装
点击Launch Install Wizard按钮
(4) 填写集群名
这里用Clotho，可自定义
(5) 选择Hadoop组件版本
使用默认，直接点击下一步。
(6) 配置安装源
这里用本地源，勾选“Use Local Repository”
HDP-3.1：http://192.168.100.105/HDP/ubuntu18/3.1.0.0-78/
HDP-UTILS-1.1.0.22：http://192.168.100.105/HDP-UTILS/ubuntu18/1.1.0.22/
(7) 配置主机名
在Target Hosts框输入：
c1.clotho.com
c2.clotho.com
c3.clotho.com
c4.clotho.com
(8) 上传ssh密钥来注册所有主机
注册的作用是让Ambari免密登录所有主机并进行批量安装操作
a.找一台主机下载之前生成的密钥，留意是使用不带.pub后缀的那个文件。
sz /root/.ssh/id_rsa
如果没有sz命令，先安装：
apt install lrzsz
b.点击Ambari界面的Choose File，并选择id_rsa文件上传。
(9) Ambari在所有主机安装ambari-agent
该过程为自动化执行。
如果出现以下错误（行号可能会略有不同）或类似错误。
“/var/lib/ambari-agent/tmp/ambari-sudo.sh: line 50: python: command not found”
请手动重装ambari-agent：
apt install ambari-agent --reinstall
利用Ambari平台安装与部署Hadoop的更多相关文章
- XXL-JOB分布式任务调度平台安装与部署
配XXL-JOB分布式任务调度平台安装与部署
- dzzoffice协同办公平台与onlyoffice在线协作平台安装与部署
1.安装dzzoffice协同办公平台 DzzOffice是一套开源办公套件,适用于企业.团队搭建自己的 类似“Google企业应用套件”.“微软Office365”的企业协同办公平台. 官网地址:h ...
- Windows平台安装及配置Hadoop(不借助cygwin)
由于项目需要,我在VMware上装了几个虚拟机Windows server 2012 R2,并要搭建Hadoop集群.刚刚入门hadoop,一头雾水,然后开始搜各种教程,首先是选用cygwin进行安装 ...
- java学习——平台的安装与部署
Java 平台安装与部署 jre,jdk安装与部署 1)jre,jdk安装过程(略) 2)部署过程 新建(JAVA_HOME) 变量名:JAVA_HOME 变量值:E:\Program Files ( ...
- 安装eclipse的hadoop开发环境--2
在eclipse上做好一切,在网上很容易搜到 尝试链接hadoop集群失败,尝试单机的操作,发现# ssh localhost失败 解决ssh问题:成功解决 但是eclipse的DFS locatio ...
- Hue的安装与部署
Hue的安装与部署 hadoop hue Hue 简介 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是 ...
- 从零开始安装 Ambari (4) -- 通过 Ambari 部署 hadoop 集群
1. 打开 http://192.168.242.181:8080 登陆的用户名/密码是 : admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”,开始创建一个集群 3 ...
- Ubuntu14.04下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）
不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentO ...
- Ambari？自动部署Hadoop集群
自动部署?Ambari Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.就 Ambari 的作用来说,就是创建 ...
随机推荐
- 在PHP中检测一个类是否可以被foreach遍历
在PHP中,我们可以非常简单的判断一个变量是什么类型,也可以非常方便的确定一个数组的长度从而决定这个数组是否可以遍历.那么类呢?我们要如何知道这个类是否可以通过 foreach 来进行遍历呢?其实,P ...
- DS博客作业03--树
这个作业属于哪个班级 数据结构--网络2011/2012 这个作业的地址 DS博客作业03--树 这个作业的目标 学习树结构设计及运算操作 姓名 黄静 目录 0. PTA得分截图 1. 本周学习总结 ...
- Shell系列（21）- 字符截取命令printf
作用 printf是标准格式输出命令,控制输出格式,不会自动加入换行符.awk会用到该条命令 命令 printf '输出类型输出格式' 输出内容 #''双引号不能少,输出类型和输出格式之间没有空格 输 ...
- mysql 优化的相关配置：总结中...
centos 为例:mysql 怎么获取配置参数信息: /etc/my.cnf; /etc/myql/my.cnf/; 家目录:或者指定目录:作用域 客户端:全局 set global 会话 set[ ...
- virtualbox linux客户机中安装增强功能包缺少kernel头文件问题解决
linux客户机中安装增强功能包总会提示缺少kernel头文件 根据发行版的不同,用命令行软件包管理命令安装dkms build-essential linux-headers-$(uname -r) ...
- AT4505-[AGC029F]Construction of a tree【构造题,hall定理,网络流】
正题 题目链接:https://www.luogu.com.cn/problem/AT4505 题目大意 给出\(n\)个点和\(n-1\)个点集\(U_i\),每个点集中选择两个点连边使得该图是一棵 ...
- 关于spring boot+maven项目大面积报红
有时候我们使用git拉取代码,首先代码本身是没有任何问题的,但我们拉取的代码却大面积报红,模块间的类显示无法加载上方导进来的包一片灰, 代码部分大面积报红,在代码可以确定没问题的情况下,可这样操作: ...
- DL4J实战之二：鸢尾花分类
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...
- NOIP模拟76
前言 还有不到 10 天就要 CSP-S ...马上我就要有我的第一篇游记了. 今天考试莽了一回,整了大概 2.5h 的 T1 ,可能是因为今天题目比较难,看起来成效不错. 以后还是要注意时间的分配( ...
- 题解 [HAOI2017]方案数
题目传送门 Solution 我们没有障碍的时候很好做,直接设 \(f_{i,j,k}\) 表示到 \((x,y,z)\) \(x\) 有 \(i\) 位为 \(1\),\(y\) 有 \(j\) 位 ...