使用docker部署ambari的若干要点
ambari部署各个组件
使用ambari进行部署时主要需要的组件包括:
- ambari-server: 主要部署的控制节点,负责控制agent进行部署。
- mysql: server存储的数据库。也支持postgresql等数据库。
- ambari-agent: 主要执行部署的节点,根据控制节点,部署相应的服务的相应组件(compoment)。
- repo: 可以是公网的库,也可以是本地源。主要提供各个服务安装的rpm包等。ambari主要使用的是HDP(hortonworks data platform)的库。
- consul: 用于DNS解析。因为各个节点之间需要通过域名来相互进行访问。用consul来提供DNS解析服务,无需在每个节点上配置hosts。对应的,各个容器也需要将DNS(即resolve.conf)指定为部署consul的ip。
部署流程
每个组件都可以单独做成镜像。其中repo可以使用公网的库,也可以使用自己搭建的本地源。
HDP的版本要和ambari的版本对应。对应关系可以查看hdp官网。
在实验中我使用的是ambari 2.2.1-v20的镜像和HDP 2.4.3。
搭建repo库
主要是安装httpd并把HDP和HDP-UTILS的tar包解压到指定目录。这个不详述了。
创建server和agent容器
使用docker-ambari的ambari-functions
来创建集群。
- 修改
ambari-functions
中的server和agent镜像名称 source ambari-functions
- 运行
amb-setttings
,查看配置是否有问题 - 运行
amb-start-cluster 3
。启动server/agent/consul容器。 - 此时ambari-server就正常启动了。
- 进入ambari-server容器,
ssh-keygen -t rsa -P ''
生成密钥。 - 进入ambari-agent,
yum install -y sudo
,mkdir -p /var/log/ambari-agent
,mkdir -p /var/lib/ambari-agent
。将ambari-server的公钥拷贝到/root/.ssh/authorized_keys
文件中。 - 从页面访问ambari-server。即可按步骤添加多个agent到集群中,并安装对应的service。
我在虚拟机上单机安装了HDFS+YARN+MAPREDUCE+SPARK服务。spark可用。我再装storm时,虚拟机配置太差,撑不住,服务无法启动。
ambari的好处是集成了监控等功能,组件很全面。
一些问题和待解决的点
- 集群编排问题。比如需要创建几个容器,每个容器应该是什么角色,安装什么组件,要事先规划好,再去创建。
- ambari-agent容器挂掉重启后,默认不会重新加入回集群。需要配置适当的脚本,使得
- 官方ambari-agent没有sudo,而且对应的ambari-agent的log目录等都没有创建。因此需要在官方镜像基础上再进行改造。
- 密钥的生成以及分发。
- ambari-agent的规划问题。比如agent作为datanode时,需要使用VOLUME的外挂盘来对数据进行保存,而不是使用容器本身的存储(容器本身存储仅10G,也不够用)。当然,这也可以做到容器的镜像中或者生成容器时动态挂载。
- 自动创建集群。这里主要的难点是使用ambari的api创建cluster,添加service等。还需要深入研究下。参考api。
- ambari-agent镜像细化的问题。现在ambari-agent中实际是一个空的镜像,没有安装service。那么我们是否可以根据service的不同,分别制作出hadoop-ambari-agent镜像,spark-ambari-agent镜像等,省去一部分服务安装的时间。
使用docker部署ambari的若干要点的更多相关文章
- AspNetCore容器化(Docker)部署(三) —— Docker Compose容器编排
一.前言 上一篇部署了一个最基础的helloworld应用,创建了两个容器和一个network,还算应付得过来. 如果该应用继续引入mysql.redis.job等若干服务,到时候发布一次得工作量之大 ...
- docker部署angular和asp.net core组成的前后端分离项目
最近使用docker对项目进行了改进,把步骤记录一下,顺便说明一下项目的结构. 项目是前后端分离的项目,后端使用asp.net core 2.2,采用ddd+cqrs架构的分层思想,前端使用的是ang ...
- 使用Docker部署Spring-Boot+Vue博客系统
在今年年初的时候,完成了自己的个Fame博客系统的实现,当时也做了一篇博文Spring-boot+Vue = Fame 写blog的一次小结作为记录和介绍.从完成实现到现在,也断断续续的根据实际的使用 ...
- 通过 Docker 部署 Redis 6.x 集群
要点步骤总结: # 这里演示使用同一台主机上 # 创建各节点存储路径 mkdir -p /opt/redis/{7000,7001,7002,7003,7004,7005} # 创建各节点配置文件 c ...
- ASP.NET Core开发-Docker部署运行
ASP.NET Core开发Docker部署,.NET Core支持Docker 部署运行.我们将ASP.NET Core 部署在Docker 上运行. 大家可能都见识过Docker ,今天我们就详细 ...
- Docker部署Hadoop集群
Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章"Hadoop 集群搭建"之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Doc ...
- 程序开发使用docker部署
我们公司自己研发了一套 grand-line 系统,使用 docker 来部署项目. 我是第一批小白鼠,一开始网络差,build 一次要半个小时,连接进入 web shell 也很慢,部署一个微信项目 ...
- 我使用celery以及docker部署遇到的问题
首先我本机测试时没有问题的,但是在线上docker中,任务一直显示 "Sending due task".超时的任务是 django orm update 操作,本地不会出现这样的 ...
- Docker部署SDN环境
2014-12-03 by muzi Docker image = Java class Docker container = Java object 前言 5月份的时候,当我还是一个大学生的时候,有 ...
随机推荐
- java模拟http请求(代理ip)
java实现动态切换上网IP (ADSL拨号上网) java动态设置IP java模拟http的Get/Post请求 自动生成IP模拟POST访问后端程序 JAVA 动态替换代理IP并模拟POST
- Win10上使用VS2015编译Caffe2
Caffe2的官网:https://caffe2.ai/ 1.下载.安装及相关准备 在Caffe2的官网点击"Get Started",即进入安装说明页面.官方还未提供编译好的bi ...
- 22.1 、react生命周期(一)
在每个react组件中都有以下几个生命周期方法~我们需要在不同阶段进行讨论 组件生命周期概述 1.初始化 在组件初始化阶段会执行 constructor static getDerivedStateF ...
- p1010幂次方---(分治)
题目描述 任何一个正整数都可以用222的幂次方表示.例如 137=27+23+20137=2^7+2^3+2^0 137=27+23+20 同时约定方次用括号来表示,即aba^bab 可表示为a(b) ...
- Spring boot Mybatis 整合(完整版)
个人开源项目 springboot+mybatis+thymeleaf+docker构建的个人站点开源项目(集成了个人主页.个人作品.个人博客) 朋友自制的springboot接口文档组件swagge ...
- Luogu 1309 - 瑞士轮 - [归并排序]
题目链接:https://www.luogu.org/problemnew/show/P1309 题解: 每次比赛前,每个人都是按照分数降序排好的,那么比赛完后,将选手按输赢分成两组,顺序依然按照原顺 ...
- RTOS 和中断之间要注意的
#define configLIBRARY_LOWEST_INTERRUPT_PRIORITY 15 #define configLIBRARY_MAX_SYSCALL_INTERRUPT_PRI ...
- Cesium调用 WMS 、WMTS 服务
参考文章地址:Cesium调用 ArcGIS Sever 以及 GeoSever 发布的地图服务 cesium测试示例(包括官方的示例)中 arcgis服务都无法访问了 根据原文找到一个在线的可访 ...
- Java之事务的基本应用
基本介绍 事务是数据一致性最基本的保证,也就是说一个事务中的操作要么都成功,要么都失败,不允许部分成功.我们常说的事务就是jdbc事务,当然Java中还有其他事务,并且在使用jdbc事务有很多注意点, ...
- vsCode如何从github拉取项目
最近刚使用vscode,有些操作还不太会,所以记录下. 1.开vscode使用CTRL+`或者点击查看到集成终端打开控制终端. 2.在终端中cd到存放文件夹下面,然后git clone https:/ ...