1 ambari + bigtop 构建大数据基础平台

1.1 参考:

1.2 参考

amabri

bigtop

打包部署

2 ambari+bigtop编译、打包、部署

操作步骤

  • 时间:2024-07-18
  • 环境准备:
    • 系统centos7
    • yum源
    • 系统基础组件
    • 防火墙、selinux设置、句柄数,时区
    • java、scala、maven、gradle、ant、nodejs、环境配置
  • 编译步骤:
    • 编译ambari:最新分支branch-2.8
    • 编译ambari-metrics:最新分支branch-3.0
    • 编译bigtop:最新分支barnch-3.3,此处采用branch-3.2
    • 打包:将以下文件copy到目标目录
      • ambari-server(ambari)
      • ambari-agent(ambari)
      • ambari-metrics-collector(ambari-metrics)
      • ambari-metrics-grafana(ambari-metrics)
      • ambari-metrics-hadoop-sink(ambari-metrics)
      • ambari-metrics-monitor(ambari-metrics)
      • bigtop打包出来的大数据组件(bigtop)
    • ambari+bigtop部署
      • 服务器准备:4c-16G-60G三台
      • 环境检查:操作系统、默认语言、时区、机器名、域名解析、网络、防火墙关闭、selinux关闭、limits句柄数、禁用交换分区、unmask设置、磁盘挂载
      • 基础设置:免密、基础软件、ntp服务、离线镜像源+httpd服务,
      • 数据库安装、ambari元数据库配置
      • 创建并配置bigtop的yum源
      • 安装启动ambari-server,初始化(生成表)

2.0 基础环境准备

2.1 ambari编译

2.2 ambari-metrics编译

2.3 bigtop编译

2.4 制作发版镜像

#创建bdp3.2文件夹-所有rpm包将都拷贝到这个文件夹
mkdir -p bdp3.2 #将ambari包拷贝
mkdir -p bdp3.2/ambari # 存放ambari项目打包出来的rpm包
cp ambari/ambari-server/target/rpm/ambari-server/RPMS/x86_64/ambari-server-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/
cp ambari/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/ #将ambari-metrics包拷贝,# 存放ambari-metrics项目打包出来的rpm包
mkdir -p bdp3.2/ambari-metrics
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-collector/RPMS/x86_64/ambari-metrics-collector-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-grafana/RPMS/x86_64/ambari-metrics-grafana-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-hadoop-sink/RPMS/x86_64/ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/ #将bigtop包拷贝
mkdir -p bdp3.2/bigtop-3.2.1 # 存放bigtop项目打包出来的rpm包
cp -r bigtop/output/* bdp3.2/bigtop-3.2.1 # 制作镜像源,在bdp3.2 目录下生成repodata(也可以将文件拷贝到安装位置后,再制作镜像源)
createrepo bdp3.2/
# bdp3.2.tar.gz,将是最终发版的包
tar zcvf bdp3.2.tar.gz bdp3.2 # yum源模板
vim ambari.repo #必须是此文件名,安装ambari-agent时,界面有检查项
# BIGOP-3.2.1 必须是固定字符串,大写。ambari安装大数据组件时,有检查项,否则找不到数据源,3.2.1 是bigtop.bom 中的base_version
# http://172.16.76.107/chdp3.2 替换成自己的地址,确保访问地址后,能看到上边ambari,ambari-metrics,bigtop-3.2.1 这三个目录
[BIGOP-3.2.1]
name=BIGOP-3.2.1
baseurl=http://172.16.76.107/bdp3.2
failovermethod=priority
enabled=1
gpgcheck=0

2.5 使用镜像|镜像测试

搭建yum源服务器

#将bdp3.2.tar.gz 复制到目标服务器
tar zxfv bdp3.2.tar.gz
ln -s /to/your/path/bdp3.2 /var/wwww/html
systemctl restart httpd # 重启httpd服务
systemctl enable httpd.service # 开机自启
访问:http://${yum_hosts}/bdp3.2, 查看根目录下是否有ambari,ambari-metrics,bigtop-3.2.1,repodata四个文件夹

客户机访问bdp3.2的yum源

1)客户机添加yum源
vim /etc/init.d/ambari.repo # 内容参考上边的yum源模板
[BIGOP-3.2.1]
name=BIGOP-3.2.1
baseurl=http://172.16.76.107/bdp3.2 ## 请替换此处IP
failovermethod=priority
enabled=1
gpgcheck=0
2)客户机刷新yum缓存(务必执行此操作,否则安装时不会报错,也安装不上)
yum clean all
yum makecache
3)查看是否能够访问bdp3.2上的安装包,
yum search ambari-server
4)查看bigtop源下的包有哪些(注意,若是只有两三个,可以去掉wc -l,看一下是具体那几个)
/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.0 |wc -l
/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.1 |wc -l

bdp3.2 压缩包文件结构预览

bdp3.2/
├── ambari
│ └── x86_64
│ ├── ambari-agent-2.8.0.0-0.x86_64.rpm
│ └── ambari-server-2.8.0.0-0.x86_64.rpm
├── ambari-metrics
│ └── x86_64
│ ├── ambari-metrics-collector-3.0.1-1.x86_64.rpm
│ ├── ambari-metrics-grafana-3.0.1-1.x86_64.rpm
│ ├── ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm
│ └── ambari-metrics-monitor-3.0.1-1.x86_64.rpm
├── bigtop3.2.1
│ ├── bigtop-ambari-mpack
│ │ ├── bigtop-ambari-mpack-2.7.5.0-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-ambari-mpack-2.7.5.0-1.el7.noarch.rpm
│ ├── bigtop-groovy
│ │ ├── bigtop-groovy-2.5.4-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-groovy-2.5.4-1.el7.noarch.rpm
│ ├── bigtop-jsvc
│ │ ├── bigtop-jsvc-1.2.4-1.el7.src.rpm
│ │ └── x86_64
│ │ ├── bigtop-jsvc-1.2.4-1.el7.x86_64.rpm
│ │ └── bigtop-jsvc-debuginfo-1.2.4-1.el7.x86_64.rpm
│ ├── bigtop-select
│ │ ├── bigtop-select-3.2.1-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-select-3.2.1-1.el7.noarch.rpm
│ ├── bigtop-utils
│ │ ├── bigtop-utils-3.2.1-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-utils-3.2.1-1.el7.noarch.rpm
│ ├── flink
│ │ ├── flink_3_2_1-1.15.3-1.el7.src.rpm
│ │ └── noarch
│ │ ├── flink_3_2_1-1.15.3-1.el7.noarch.rpm
│ │ ├── flink_3_2_1-jobmanager-1.15.3-1.el7.noarch.rpm
│ │ └── flink_3_2_1-taskmanager-1.15.3-1.el7.noarch.rpm
│ ├── hadoop
│ │ ├── hadoop_3_2_1-3.3.6-1.el7.src.rpm
│ │ └── x86_64
│ │ ├── hadoop_3_2_1-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-client-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-conf-pseudo-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-debuginfo-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-doc-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-datanode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-dfsrouter-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-fuse-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-journalnode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-namenode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-secondarynamenode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-zkfc-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-httpfs-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-kms-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfs-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfs-devel-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfspp-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfspp-devel-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-mapreduce-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-mapreduce-historyserver-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-nodemanager-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-proxyserver-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-resourcemanager-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-router-3.3.6-1.el7.x86_64.rpm
│ │ └── hadoop_3_2_1-yarn-timelineserver-3.3.6-1.el7.x86_64.rpm
│ ├── hbase
│ │ ├── hbase_3_2_1-2.4.17-1.el7.src.rpm
│ │ ├── noarch
│ │ │ └── hbase_3_2_1-doc-2.4.17-1.el7.noarch.rpm
│ │ └── x86_64
│ │ ├── hbase_3_2_1-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-master-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-regionserver-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-rest-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-thrift2-2.4.17-1.el7.x86_64.rpm
│ │ └── hbase_3_2_1-thrift-2.4.17-1.el7.x86_64.rpm
│ ├── hive
│ │ ├── hive_3_2_1-3.1.3-1.el7.src.rpm
│ │ └── noarch
│ │ ├── hive_3_2_1-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-hbase-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-hcatalog-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-hcatalog-server-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-jdbc-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-metastore-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-server2-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-webhcat-3.1.3-1.el7.noarch.rpm
│ │ └── hive_3_2_1-webhcat-server-3.1.3-1.el7.noarch.rpm
│ ├── kafka
│ │ ├── kafka_3_2_1-2.8.2-1.el7.src.rpm
│ │ └── noarch
│ │ ├── kafka_3_2_1-2.8.2-1.el7.noarch.rpm
│ │ └── kafka_3_2_1-server-2.8.2-1.el7.noarch.rpm
│ ├── phoenix
│ │ ├── noarch
│ │ │ └── phoenix-5.1.3-1.el7.noarch.rpm
│ │ └── phoenix-5.1.3-1.el7.src.rpm
│ ├── solr
│ │ ├── noarch
│ │ │ ├── solr_3_2_1-8.11.2-1.el7.noarch.rpm
│ │ │ ├── solr_3_2_1-doc-8.11.2-1.el7.noarch.rpm
│ │ │ └── solr_3_2_1-server-8.11.2-1.el7.noarch.rpm
│ │ └── solr_3_2_1-8.11.2-1.el7.src.rpm
│ ├── spark
│ │ ├── noarch
│ │ │ ├── spark_3_2_1-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-core-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-datanucleus-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-external-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-history-server-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-master-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-python-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-sparkr-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-thriftserver-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-worker-3.2.3-1.el7.noarch.rpm
│ │ │ └── spark_3_2_1-yarn-shuffle-3.2.3-1.el7.noarch.rpm
│ │ └── spark_3_2_1-3.2.3-1.el7.src.rpm
│ ├── tez
│ │ ├── noarch
│ │ │ └── tez_3_2_1-0.10.2-1.el7.noarch.rpm
│ │ └── tez_3_2_1-0.10.2-1.el7.src.rpm
│ └── zookeeper
│ ├── x86_64
│ │ ├── zookeeper_3_2_1-3.6.4-1.el7.x86_64.rpm
│ │ ├── zookeeper_3_2_1-debuginfo-3.6.4-1.el7.x86_64.rpm
│ │ ├── zookeeper_3_2_1-native-3.6.4-1.el7.x86_64.rpm
│ │ ├── zookeeper_3_2_1-rest-3.6.4-1.el7.x86_64.rpm
│ │ └── zookeeper_3_2_1-server-3.6.4-1.el7.x86_64.rpm
│ └── zookeeper_3_2_1-3.6.4-1.el7.src.rpm
└── repodata
├── 15cc6a5320a9f6e38cda7b8ec54e7e28ed527df25ee6f56c1bf20cfa421dfe73-other.sqlite.bz2
├── 1a5c0f03d6edae3170255a282d113afe9b22f654f246ea308f162e14234cf5f8-filelists.sqlite.bz2
├── 28cb1ff79328b8ebeaa55021078984e8da908081b0b389e4037d9b1e5854ae22-primary.xml.gz
├── 5066ad167311131c46e983c0d66c4901b92a4e862b11aff3492f02f90ec2eb36-other.xml.gz
├── 617177ba2b017e6e6b4a62b157fe3441ea97b74455d60792e78471f938b86cb8-filelists.xml.gz
├── 7ea377d3a0b59ffaaef9661cb7dd3f2144bd7bc27da1a11070b6d78d5116dddd-primary.sqlite.bz2
└── repomd.xml
37 directories, 103 files

2.6 ambari 安装

安装中可能出现的问题及解决方案

  • 问题1:yum install ambari-server后出现以下日志,软件没有安装成功,也没有任何反应

    • 解决方案:yum clean all && yum makecache
Loaded plugins:aliases,changelog,fastestmirror, kabi, langpacks, tmprepo, verify, versionlock
Loading support for RedHat kernel ABI
  • 问题2:yum源配置

    /etc/yum.repos.d/ambari.repo (必须为此名称,安装过程有校验)
[BIGTOP-3.2.1]   # 必须为此名称,和ambari-server中的配置一致,包含大小写,下一行同理
name=BIGTOP-3.2.1
baseurl=http://192.168.76.107/chdp3.2
failovermethod=priority
enabled=1
gpgcheck=0

ambari+ bigtop 编译、打包、部署步骤总览的更多相关文章

  1. kibana7.6.2内网windows系统下编译打包部署

    1.在kibana根目录下执行命令: yarn build  --skip-os-packages 2.报错无法下载node:将node相关文件下载放到kibana/.node_binaries/10 ...

  2. 二:【nopcommerce系列】Nop的文件结构,引用关系。如何编译打包部署等

    如果,你还没先看第一篇,先看看 一:[nopcommerce系列]Nop整体架构的简单介绍,在看nop代码之前,你需要懂哪些东西 如果你确定你已经看完了第一篇,并且真的理解 mvc.和autofac, ...

  3. 编译打包部署 Dubbo Admin

    1.下载,Dubbo地址: https://github.com/alibaba/dubbo/tree/2.5.x ,直接ZIP下载 2.解压并打开项目,mvn package 得到war包,如下图: ...

  4. Windows Phone 8初学者开发—第8部分:理解编译和部署

    原文 Windows Phone 8初学者开发—第8部分:理解编译和部署 第8部分:理解编译和部署 原文地址: http://channel9.msdn.com/Series/Windows-Phon ...

  5. 走进JavaWeb技术世界12:从手动编译打包到项目构建工具Maven

    小李的Build之路(上) 转自: 刘欣 码农翻身 2016-07-10 摘要:手工Build的烦恼要不是为了和女朋友留在一个城市,小李肯定去北上广奋斗去了.现在他只能留在这个2.5线城市,进入这家软 ...

  6. VS打包部署图文具体步骤及程序防卸载的制作(password验证卸载)

    1.  在vs2010 选择"新建项目->"其它项目类型"->" Visual StudioInstallerà "安装项目": ...

  7. 在windows下导入react项目并且打包编译后部署到nginx上

    在windows下导入react项目并且打包编译后部署到nginx上 一.安装npm 二.创建react项目 三.安装nginx 四.总结 最近接手了公司的一个django项目,这是应该前后端分离的项 ...

  8. Spark入门实战系列--2.Spark编译与部署(上)--基础环境搭建

    [注] 1.该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取: 2.Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用 ...

  9. Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载mave ...

  10. 【转】VS2012程序打包部署详解

    上篇博客把收费系统的总体设计进行了一遍讲解,讲解的同时掺杂了些有关.NET编译机制的总结.程序编写测试完成后接下来我们要做的是打包部署程序,但VS2012让人心痛的是没有了打包工具.不知道出于什么原因 ...

随机推荐

  1. Linux权限与组

    rwx r-xr r-x root root r:读 (read) 4 w:写(write) 2 x:执行(execute) ``1 - 没有权限 0 权限 的前三位 rwx 属主权限位(用户权限) ...

  2. lodash已死?radash库方法介绍及源码解析 —— 随机方法 + 字符串篇

    前言 大家好,我是阿瓜.一个励志想成为艾弗森的前端瓜 ~ 我们已经分享了 radash 库中数组.对象等相关的方法,大家感兴趣的可以前往主页查看阅读: 或许你最近在某个地方听过或者看过 radash ...

  3. 8.13考试总结(NOIP模拟38)[a·b·c]

    重要的不是你做了多少事,而是你放了多少心思进去. T1 a 解题思路 总结一下,是双指针运用不够熟练(zxb笑了笑). 其实这个题是可以用树状数组卡过的(众所周知我是一个正直的人),但是一定是要打正解 ...

  4. c#笔记(3) 委托回调

    委托回调是刚接触c#时最头疼的东西,老看老忘,遂整理一下现在对委托回调的理解.如有错误,请指出,感谢. 委托 C# 中的委托(Delegate)类似于 C 或 C++ 中函数的指针.委托是存有对某个方 ...

  5. 异构数据源同步之数据同步 → DataX 使用细节

    开心一刻 中午我妈微信给我消息 妈:儿子啊,妈电话欠费了,能帮妈充个话费吗 我:妈,我知道了,我帮你充 当我帮我妈把话费充好,正准备回微信的时候,我妈微信给我发消息了 妈:等会儿子,不用充了,刚刚有个 ...

  6. python——入门

    操作系统 操作系统就是一个特殊的软件 作用有两个,第一个:直接操作硬件:第二个:把操作硬件的代码封装成一个又一个的系统调用 python的特点 python是完全面向对象的语言 函数,模块,数字,字符 ...

  7. 解决 idea web项目没有小蓝点的问题

    在idea导入web项目,项目没有显示小蓝点,无法添加 java文件和运行.如下图的springboot-schedule 和 springboot-test 都没有蓝点: 解决方案一: 点击 Fil ...

  8. 恢复Everything的默认排序

    在窗口里点了文件名/时间排序后,想恢复默认排序: 点击菜单 ,视图-排序-最近打开时间.

  9. error pulling image configuration: Get https://eastasia.data.mcr.microsoft.com -- net/http: TLS handshake timeout

    error pulling image configuration: Get https://eastasia.data.mcr.microsoft.com/b29889755b1f4e46b6b44 ...

  10. Vue学习:15.组件化开发

    组件化开发 组件化开发是一种软件开发方法,它将应用程序拆分成独立的.可重用的模块,每个模块都被称为组件.这些组件可以独立开发.测试.维护和部署,从而提高了代码的可维护性.可扩展性和复用性.在前端开发中 ...