centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
前言
本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成功,但是在启动某些服务的时候可能会有异常,比如最后提到的hive启动异常。本文适合系统: RedHat7、CentOS7、Oracle Linux7(都是64位)
注意:centos7中文系统有bug(python脚本中文识别问题),需要使用英文系统。
本文仅作参考(基本每个配置博客都有局限性和坑~),推荐先参考官方文档:
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html
以下均在root用户下执行。
1、满足最低系统要求
1.1 浏览器
建议您将浏览器(自己使用的windows既可)更新至最新的稳定版本
1.2 软件要求(在每台主机上)
1 |
1.2.1 yum和rpm |
以上软件大部分系统自带,其余可参考:CentOS 初始环境配置
2、环境准备(在每台主机上)
2.1 ssh 免密
只需master 免密到其他节点(包含自身),不需要互通,参考:linux ssh 免密登录
2.2 启用NTP
1 |
yum install -y ntp |
2.3 编辑主机文件
1 |
vim /etc/hosts |
本文只是在个人虚拟机上进行安装测试,所以只选择两个节点,在公司真实环境下多个节点安装是一样的,ambari对内存要求较高,如果个人电脑配置不高的话,建议学习一下即可。
1 |
192.168.44.138 ambari.master.com |
其中后面的如ambari.master.com为完全限定域名(FQDN)(通过符号“.”),不能简单的设为master等,如果该文件里有其他映射,如上面的配置必须要在最前面(自带的localhost下面一行),否则后面安装会报错。
2.4 设置主机名
以ambari.master.com为例
2.4.1
1 |
hostname ambari.master.com |
2.4.2
1 |
vim /etc/hostname |
1 |
ambari.master.com |
两步缺一不可,通过命令验证
1 |
hostname |
两个必须都为ambari.master.com才行
2.5 编辑网络配置文件
1 |
vim /etc/sysconfig/network |
修改HOSTNAME属性为FQDN
1 |
NETWORKING=yes |
2.6 禁用iptables
1 |
systemctl disable firewalld |
2.7 禁用SELinux
2.7.1 临时禁用
1 |
setenforce 0 |
2.7.2 永久禁用(重启机器)
1 |
vim /etc/sysconfig/selinux |
将SELINUX改为disabled
1 |
SELINUX=disabled |
这样服务器或虚拟机重启也没有问题。
3、制作本地源(仅在master)
因为ambari 和 hdp 安装文件比较大,如果在线安装的话会很慢,所以最好选择本地源。
(可以在集群可以访问的任何机器上制作本地源)
3.1 安装制作本地源工具
1 |
yum install yum-utils createrepo |
3.2 创建一个HTTP服务器
1 |
yum install httpd -y |
3.3 为Web服务器创建目录
1 |
mkdir -p /var/www/html/hdp/HDP-UTILS |
3.4 下载系统对应的最新版相关安装包
其中包括Ambari、HDP、HDP-UTILS,由于HDP-GPL较小只有几百k,所以没有配置为本地源。
3.4.1 下载
1 |
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gz |
3.4.2 解压
1 |
tar -zxvf ambari-2.6.1.5-centos7.tar.gz -C /var/www/html |
3.4.3 解决在浏览器访问HTTP://AMBARI.MASTER.COM/HDP/HDP/CENTOS7/2.6.4.0-91 为空白
原因:该目录下index.xml使用了 https://ajax.googleapis.com/ajax/libs/jquery/3.1.1/jquery.min.js 国内访问不了谷歌,将index.xml注释掉即可
1 |
cd /var/www/html/hdp/HDP/centos7/2.6.4.0-91 |
此时应该可以在浏览器访问下面的地址了,可以验证一下
1 |
http://ambari.master.com/ambari/centos7/2.6.1.5-3/ |
3.5 配置ambari、HDP、HDP-UTILS的本地源
1 |
cp /var/www/html/ambari/centos7/2.6.1.5-3/ambari.repo /etc/yum.repos.d/ |
将每个repo里的baseurl和gpgkey的地址修改为本地的
1 |
vim /etc/yum.repos.d/ambari.repo |
1 |
#VERSION_NUMBER=2.6.1.5-3 |
1 |
vim /etc/yum.repos.d/hdp.repo |
1 |
#VERSION_NUMBER=2.6.4.0-91 |
1 |
yum clean all |
3.6 (可选)如果您的环境中配置了多个存储库,请在集群中的所有节点上部署以下插件
1 |
yum install yum-plugin-priorities -y |
1 |
[main] |
4、安装ambari(仅在master)
4.1安装ambari-server
1 |
yum install ambari-server -y |
4.2 设置mysql连接器
1 |
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar |
(如果使用mysql作为hive的元数据库)
4.3 创建相关的mysql数据库
创建ambari数据库及用户,登录root用户执行下面语句:
1 |
mysql -uroot -pRoot-123 |
1 |
create database ambari character set utf8 ; |
如果要安装Hive,再创建Hive数据库和用户,再执行下面的语句:
1 |
create database hive character set utf8 ; |
hive用户可以不用指定全部库的权限。
4.4 配置ambari-server
4.4.1 SETUP
1 |
ambari-server setup |
4.4.2 配置流程
以下为全部的配置过程,其中主要是自定义jdk,输入JAVA_HOME路径,自定义数据库选mysql,输入数据库用户名,密码等
1 |
ambari-server setup |
4.4.3将AMBARI数据库脚本导入到数据库
1 |
mysql -uambari -pAmbari-123 |
4.4.4 启动AMBARI
1 |
ambari-server start |
4.4.5 启动成功,可以通过如下地址访问:
用户名,密码为admin admin
5、使用ambari浏览器界面安装hadoop,hive等组件
5.1 登录到ambari管理界面
5.2 安装hdp集群,点击Launch Install Wizard
5.3,设置集群名称
5.4 配置本地源
其中HDP-GPL较小,用默认的即可
5.5 设置host
其中下面的为master上ssh的私钥(~/.ssh/id_rsa)
5.6 Host确认
如果失败或者卡住不动可根据日志解决,如果warn根据提示信息解决,直到全部为Success才可以进行下一步。
注:我一般根据/var/log/ambari-server/ambari-server.log 查看ambari的日志,根据里面的异常解决问题,如果没有异常,再查看ambari的其他日志文件。
下面两个是我在使用ambari时碰到的异常,可以参考:HDFS DataNode启动异常:/opt/jdk1.8.0_151/bin/java:权限不够和ambari 异常总结及解决办法
5.7 选择要安装的服务
如果有依赖其他组件选择ok即可,如安装hive依赖tez,pig等
5.8 设置各个服务Master
5.9 设置Slaves 和 Clients
5.10 自定义配置
其中红色的必须要改,大致是设置路径,密码等,如hive要设置hive元数据的数据库信息,我用的master上的mysql
测试一下连接
没有了红色的即可进行下一步,如遇到warn,可根据提示信息进行修改配置,也可以忽略警告,等装完以后再改。
5.11 review前面的配置
5.12 安装、启动、测试
这里因为个人电脑配置较低,浏览器有点卡,进度条没有显示出来。
5.13 安装完成
若最后出现警告,可以装完重启所有服务,再检查看看有没有问题,如有警告或启动失败,可根据日志排查原因,一开始安装的的组件较多的话,出现警告的可能性会大一些,所以可以先装几个必要的组件,之后一个一个组件装。
5.14 概要
5.15 hive启动异常
这次安装重启之后发现hive等服务启动不成功,我就把hive等卸载然后重装,本来以为是开始是hive没安装成功,但是重装后hive还是启动不成功,看了一下日志,发现是之前手动安装的原生的hive的环境变量没有注释掉,注释掉,重启ambari之后,再启动所有服务,就成功了(再在hive shell 里建表、插入数据、查询验证一下),所以如果在已经安装好的大数据集群上安装ambari,最好先把之前配的环境变量注释掉。
5.16 启动成功
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署的更多相关文章
- Ambari2.6.2 HDP2.6.5 大数据集群搭建
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注:本文基于root用户 ...
- 最新版大数据平台安装部署指南,HDP-2.6.5.0,ambari-2.6.2.0
一.服务器环境配置 1 系统要求 名称 地址 操作系统 root密码 Master1 10.1.0.30 Centos 7.7 Root@bidsum1 Master2 10.1.0.105 Cent ...
- centos7下kafka集群安装部署
应用摘要: Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的 分布式发布订阅消息系统,是消息中间件的一种,用于构建实时 ...
- centos7下zookeeper集群安装部署
应用场景:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件. 它是一个为分布式应用提供一致性服务的软 ...
- CentOS7.4 + Ambari 2.6.1.5 + HDP 2.6.4.0 安装部署
1. 参考说明 参考文档: https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/conten ...
- Spring boot centos7 后台服务安装部署
Spring boot 应用服务安装部署(maven工程) 1.首先在maven工程的pom文件中引入以下标签并保存 <build> <plugins> <plugin& ...
- 在ConoHa上Centos7环境下源码安装部署LNMP
本文记录了从源码,在Centos 7上手动部署LNMP环境的过程,为了方便以后对nginx和mariadb进行升级,这里采用yum的方式进行安装. 1.建立运行网站和数据库的用户和组 groupadd ...
- centos7使用kubeadm安装部署kubernetes 1.14
应用背景: 截止目前为止,高热度的kubernetes版本已经发布至1.14,在此记录一下安装部署步骤和过程中的问题排查. 部署k8s一般两种方式:kubeadm(官方称目前已经GA,可以在生产环境使 ...
- Linux Centos7.x下安装部署Jira和confluence以及破解方法详述
简述 JIRA是Atlassian公司出品的项目与事务跟踪工具,被广泛应用于缺陷跟踪.客户服务.需求收集.流程审批.任务跟踪.项目跟踪和敏捷管理等工作领域. Confluence是一个专业的企业知识管 ...
随机推荐
- Netty中如何写大型数据
因为网络饱和的可能性,如何在异步框架中高效地写大块的数据是一个特殊的问题.由于写操作是非阻塞的,所以即使没有写出所有的数据,写操作也会在完成时返回并通知ChannelFuture.当这种情况发生时,如 ...
- Ubuntu安装和卸载.bundle格式的VMware
本文由荒原之梦原创,原文链接:http://zhaokaifeng.com/?p=628 前言: 本文中用于演示的.bundle文件是VMware-Workstation-Full-14.1.1-75 ...
- jmeter添加断言
先创建一个线程组,再创建一个http请求. 为了方便观察,我们添加两个监听器,察看结果树和断言结果. 添加断言:响应断言,响应断言也是比较常用的一个断言 设置响应断言:正常情况下响应代码是200.选择 ...
- 究竟谁在绑架中国的4G政策?
2009年中国正式发放3G牌照以来,尽管在开始阶段受到了应用不足的困扰,但是随着智 能手机的迅速推广,3G移动通信也开始在中国得到了飞速的发展.就在消费者以及市场 逐步接受并广泛应用该技术之际,4G通 ...
- MAC下Intellij IDEA常用快捷键
alt+f7 : 查找在哪里使用 command+alt+f7 : 这个是查找选中的字符在工程中出现的地方,可以不是方法变量类等,这个和上面的有区别的 command+F7 : 可以查询当前元素在当前 ...
- client.go
package)*time.Second) ], { hasConn := false waitc := time.After(cfg.DialTimeout) ...
- bzoj 4565 状压区间dp
我还以为我状压很好...... 噗!!! 果然我区间很差... f[i][j][s]表示i~j段,合并后的状态为s所得的最大收益 枚举i,j,k,s. f[i][j][s<<1]=max( ...
- 基于 Maven 的多模块 Java ( Spring ) 项目构建
索引: 开源Spring解决方案--lm.solution 参看代码 GitHub: solution/pom.xml pojo/pom.xml mapper/pom.xml common/pom.x ...
- python——几种截图对比方式!
本次记录的几种截图对比方式,主要是为了在进行手机自动化测试时,通过截图对比来判断测试的正确性,方式如下: # -*- coding: utf- -*- ''' 用途:利用python实现多种方法来实现 ...
- 华为手机无法使用USB调试的解决方案
在Android开发中,一直在使用华为的荣耀8进行调试,但是突然某一次,发现USB调试无法使用了,且在其他的电脑上进行调试也不行. 后来经过查资料,总算解决了此问题,在这里进行一下解决方案的记录. 需 ...