1 ambari + bigtop 构建大数据基础平台

1.1 参考：

1.2 参考

amabri

bigtop

打包部署

2 ambari+bigtop编译、打包、部署

操作步骤

  • 时间：2024-07-18
  • 环境准备：
    • 系统centos7
    • yum源
    • 系统基础组件
    • 防火墙、selinux设置、句柄数，时区
    • java、scala、maven、gradle、ant、nodejs、环境配置
  • 编译步骤：
    • 编译ambari：最新分支branch-2.8
    • 编译ambari-metrics：最新分支branch-3.0
    • 编译bigtop：最新分支barnch-3.3，此处采用branch-3.2
    • 打包：将以下文件copy到目标目录
      • ambari-server（ambari）
      • ambari-agent（ambari）
      • ambari-metrics-collector(ambari-metrics)
      • ambari-metrics-grafana(ambari-metrics)
      • ambari-metrics-hadoop-sink(ambari-metrics)
      • ambari-metrics-monitor(ambari-metrics)
      • bigtop打包出来的大数据组件(bigtop)
    • ambari+bigtop部署
      • 服务器准备：4c-16G-60G三台
      • 环境检查：操作系统、默认语言、时区、机器名、域名解析、网络、防火墙关闭、selinux关闭、limits句柄数、禁用交换分区、unmask设置、磁盘挂载
      • 基础设置：免密、基础软件、ntp服务、离线镜像源+httpd服务，
      • 数据库安装、ambari元数据库配置
      • 创建并配置bigtop的yum源
      • 安装启动ambari-server，初始化（生成表）

2.0 基础环境准备

2.1 ambari编译

2.2 ambari-metrics编译

2.3 bigtop编译

2.4 制作发版镜像

#创建bdp3.2文件夹-所有rpm包将都拷贝到这个文件夹

mkdir -p bdp3.2

#将ambari包拷贝

mkdir -p bdp3.2/ambari  # 存放ambari项目打包出来的rpm包

cp ambari/ambari-server/target/rpm/ambari-server/RPMS/x86_64/ambari-server-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/

cp ambari/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/

#将ambari-metrics包拷贝,# 存放ambari-metrics项目打包出来的rpm包

mkdir -p bdp3.2/ambari-metrics

cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-collector/RPMS/x86_64/ambari-metrics-collector-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/

cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-grafana/RPMS/x86_64/ambari-metrics-grafana-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/

cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-hadoop-sink/RPMS/x86_64/ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/

cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/

#将bigtop包拷贝

mkdir -p bdp3.2/bigtop-3.2.1 # 存放bigtop项目打包出来的rpm包

cp -r bigtop/output/* bdp3.2/bigtop-3.2.1

# 制作镜像源,在bdp3.2 目录下生成repodata（也可以将文件拷贝到安装位置后，再制作镜像源）

createrepo bdp3.2/

# bdp3.2.tar.gz,将是最终发版的包

tar zcvf bdp3.2.tar.gz bdp3.2 

# yum源模板

vim ambari.repo  #必须是此文件名，安装ambari-agent时，界面有检查项

# BIGOP-3.2.1 必须是固定字符串，大写。ambari安装大数据组件时，有检查项，否则找不到数据源，3.2.1 是bigtop.bom 中的base_version

# http://172.16.76.107/chdp3.2 替换成自己的地址，确保访问地址后，能看到上边ambari，ambari-metrics，bigtop-3.2.1 这三个目录

[BIGOP-3.2.1]

name=BIGOP-3.2.1

baseurl=http://172.16.76.107/bdp3.2

failovermethod=priority

enabled=1

gpgcheck=0

2.5 使用镜像|镜像测试

搭建yum源服务器

#将bdp3.2.tar.gz 复制到目标服务器

tar zxfv bdp3.2.tar.gz

ln -s /to/your/path/bdp3.2  /var/wwww/html

systemctl restart httpd  # 重启httpd服务

systemctl enable httpd.service # 开机自启

访问：http://${yum_hosts}/bdp3.2, 查看根目录下是否有ambari，ambari-metrics，bigtop-3.2.1，repodata四个文件夹

客户机访问bdp3.2的yum源

1）客户机添加yum源

vim /etc/init.d/ambari.repo # 内容参考上边的yum源模板

[BIGOP-3.2.1]

name=BIGOP-3.2.1

baseurl=http://172.16.76.107/bdp3.2  ## 请替换此处IP

failovermethod=priority

enabled=1

gpgcheck=0

2）客户机刷新yum缓存（务必执行此操作，否则安装时不会报错，也安装不上）

yum clean all

yum makecache

3）查看是否能够访问bdp3.2上的安装包，

yum search ambari-server

4）查看bigtop源下的包有哪些（注意，若是只有两三个，可以去掉wc -l，看一下是具体那几个）

/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.0  |wc -l

/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.1  |wc -l

bdp3.2 压缩包文件结构预览

bdp3.2/

├── ambari

│   └── x86_64

│       ├── ambari-agent-2.8.0.0-0.x86_64.rpm

│       └── ambari-server-2.8.0.0-0.x86_64.rpm

├── ambari-metrics

│   └── x86_64

│       ├── ambari-metrics-collector-3.0.1-1.x86_64.rpm

│       ├── ambari-metrics-grafana-3.0.1-1.x86_64.rpm

│       ├── ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm

│       └── ambari-metrics-monitor-3.0.1-1.x86_64.rpm

├── bigtop3.2.1

│   ├── bigtop-ambari-mpack

│   │   ├── bigtop-ambari-mpack-2.7.5.0-1.el7.src.rpm

│   │   └── noarch

│   │       └── bigtop-ambari-mpack-2.7.5.0-1.el7.noarch.rpm

│   ├── bigtop-groovy

│   │   ├── bigtop-groovy-2.5.4-1.el7.src.rpm

│   │   └── noarch

│   │       └── bigtop-groovy-2.5.4-1.el7.noarch.rpm

│   ├── bigtop-jsvc

│   │   ├── bigtop-jsvc-1.2.4-1.el7.src.rpm

│   │   └── x86_64

│   │       ├── bigtop-jsvc-1.2.4-1.el7.x86_64.rpm

│   │       └── bigtop-jsvc-debuginfo-1.2.4-1.el7.x86_64.rpm

│   ├── bigtop-select

│   │   ├── bigtop-select-3.2.1-1.el7.src.rpm

│   │   └── noarch

│   │       └── bigtop-select-3.2.1-1.el7.noarch.rpm

│   ├── bigtop-utils

│   │   ├── bigtop-utils-3.2.1-1.el7.src.rpm

│   │   └── noarch

│   │       └── bigtop-utils-3.2.1-1.el7.noarch.rpm

│   ├── flink

│   │   ├── flink_3_2_1-1.15.3-1.el7.src.rpm

│   │   └── noarch

│   │       ├── flink_3_2_1-1.15.3-1.el7.noarch.rpm

│   │       ├── flink_3_2_1-jobmanager-1.15.3-1.el7.noarch.rpm

│   │       └── flink_3_2_1-taskmanager-1.15.3-1.el7.noarch.rpm

│   ├── hadoop

│   │   ├── hadoop_3_2_1-3.3.6-1.el7.src.rpm

│   │   └── x86_64

│   │       ├── hadoop_3_2_1-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-client-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-conf-pseudo-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-debuginfo-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-doc-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-datanode-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-dfsrouter-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-fuse-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-journalnode-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-namenode-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-secondarynamenode-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-hdfs-zkfc-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-httpfs-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-kms-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-libhdfs-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-libhdfs-devel-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-libhdfspp-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-libhdfspp-devel-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-mapreduce-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-mapreduce-historyserver-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-yarn-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-yarn-nodemanager-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-yarn-proxyserver-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-yarn-resourcemanager-3.3.6-1.el7.x86_64.rpm

│   │       ├── hadoop_3_2_1-yarn-router-3.3.6-1.el7.x86_64.rpm

│   │       └── hadoop_3_2_1-yarn-timelineserver-3.3.6-1.el7.x86_64.rpm

│   ├── hbase

│   │   ├── hbase_3_2_1-2.4.17-1.el7.src.rpm

│   │   ├── noarch

│   │   │   └── hbase_3_2_1-doc-2.4.17-1.el7.noarch.rpm

│   │   └── x86_64

│   │       ├── hbase_3_2_1-2.4.17-1.el7.x86_64.rpm

│   │       ├── hbase_3_2_1-master-2.4.17-1.el7.x86_64.rpm

│   │       ├── hbase_3_2_1-regionserver-2.4.17-1.el7.x86_64.rpm

│   │       ├── hbase_3_2_1-rest-2.4.17-1.el7.x86_64.rpm

│   │       ├── hbase_3_2_1-thrift2-2.4.17-1.el7.x86_64.rpm

│   │       └── hbase_3_2_1-thrift-2.4.17-1.el7.x86_64.rpm

│   ├── hive

│   │   ├── hive_3_2_1-3.1.3-1.el7.src.rpm

│   │   └── noarch

│   │       ├── hive_3_2_1-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-hbase-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-hcatalog-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-hcatalog-server-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-jdbc-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-metastore-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-server2-3.1.3-1.el7.noarch.rpm

│   │       ├── hive_3_2_1-webhcat-3.1.3-1.el7.noarch.rpm

│   │       └── hive_3_2_1-webhcat-server-3.1.3-1.el7.noarch.rpm

│   ├── kafka

│   │   ├── kafka_3_2_1-2.8.2-1.el7.src.rpm

│   │   └── noarch

│   │       ├── kafka_3_2_1-2.8.2-1.el7.noarch.rpm

│   │       └── kafka_3_2_1-server-2.8.2-1.el7.noarch.rpm

│   ├── phoenix

│   │   ├── noarch

│   │   │   └── phoenix-5.1.3-1.el7.noarch.rpm

│   │   └── phoenix-5.1.3-1.el7.src.rpm

│   ├── solr

│   │   ├── noarch

│   │   │   ├── solr_3_2_1-8.11.2-1.el7.noarch.rpm

│   │   │   ├── solr_3_2_1-doc-8.11.2-1.el7.noarch.rpm

│   │   │   └── solr_3_2_1-server-8.11.2-1.el7.noarch.rpm

│   │   └── solr_3_2_1-8.11.2-1.el7.src.rpm

│   ├── spark

│   │   ├── noarch

│   │   │   ├── spark_3_2_1-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-core-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-datanucleus-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-external-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-history-server-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-master-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-python-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-sparkr-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-thriftserver-3.2.3-1.el7.noarch.rpm

│   │   │   ├── spark_3_2_1-worker-3.2.3-1.el7.noarch.rpm

│   │   │   └── spark_3_2_1-yarn-shuffle-3.2.3-1.el7.noarch.rpm

│   │   └── spark_3_2_1-3.2.3-1.el7.src.rpm

│   ├── tez

│   │   ├── noarch

│   │   │   └── tez_3_2_1-0.10.2-1.el7.noarch.rpm

│   │   └── tez_3_2_1-0.10.2-1.el7.src.rpm

│   └── zookeeper

│       ├── x86_64

│       │   ├── zookeeper_3_2_1-3.6.4-1.el7.x86_64.rpm

│       │   ├── zookeeper_3_2_1-debuginfo-3.6.4-1.el7.x86_64.rpm

│       │   ├── zookeeper_3_2_1-native-3.6.4-1.el7.x86_64.rpm

│       │   ├── zookeeper_3_2_1-rest-3.6.4-1.el7.x86_64.rpm

│       │   └── zookeeper_3_2_1-server-3.6.4-1.el7.x86_64.rpm

│       └── zookeeper_3_2_1-3.6.4-1.el7.src.rpm

└── repodata

    ├── 15cc6a5320a9f6e38cda7b8ec54e7e28ed527df25ee6f56c1bf20cfa421dfe73-other.sqlite.bz2

    ├── 1a5c0f03d6edae3170255a282d113afe9b22f654f246ea308f162e14234cf5f8-filelists.sqlite.bz2

    ├── 28cb1ff79328b8ebeaa55021078984e8da908081b0b389e4037d9b1e5854ae22-primary.xml.gz

    ├── 5066ad167311131c46e983c0d66c4901b92a4e862b11aff3492f02f90ec2eb36-other.xml.gz

    ├── 617177ba2b017e6e6b4a62b157fe3441ea97b74455d60792e78471f938b86cb8-filelists.xml.gz

    ├── 7ea377d3a0b59ffaaef9661cb7dd3f2144bd7bc27da1a11070b6d78d5116dddd-primary.sqlite.bz2

    └── repomd.xml

37 directories, 103 files

2.6 ambari 安装

安装中可能出现的问题及解决方案

  • 问题1：yum install ambari-server后出现以下日志，软件没有安装成功，也没有任何反应

    • 解决方案：yum clean all && yum makecache
Loaded plugins:aliases,changelog,fastestmirror, kabi, langpacks, tmprepo, verify, versionlock

Loading support for RedHat kernel ABI
  • 问题2：yum源配置

    /etc/yum.repos.d/ambari.repo （必须为此名称，安装过程有校验）
[BIGTOP-3.2.1]   # 必须为此名称，和ambari-server中的配置一致，包含大小写，下一行同理

name=BIGTOP-3.2.1

baseurl=http://192.168.76.107/chdp3.2

failovermethod=priority

enabled=1

gpgcheck=0

ambari+ bigtop 编译、打包、部署步骤总览的更多相关文章

  1. kibana7.6.2内网windows系统下编译打包部署

    1.在kibana根目录下执行命令: yarn build  --skip-os-packages 2.报错无法下载node:将node相关文件下载放到kibana/.node_binaries/10 ...

  2. 二：【nopcommerce系列】Nop的文件结构，引用关系。如何编译打包部署等

    如果,你还没先看第一篇,先看看 一:[nopcommerce系列]Nop整体架构的简单介绍,在看nop代码之前,你需要懂哪些东西 如果你确定你已经看完了第一篇,并且真的理解 mvc.和autofac, ...

  3. 编译打包部署 Dubbo Admin

    1.下载,Dubbo地址: https://github.com/alibaba/dubbo/tree/2.5.x ,直接ZIP下载 2.解压并打开项目,mvn package 得到war包,如下图: ...

  4. Windows Phone 8初学者开发—第8部分：理解编译和部署

    原文 Windows Phone 8初学者开发—第8部分:理解编译和部署 第8部分:理解编译和部署 原文地址: http://channel9.msdn.com/Series/Windows-Phon ...

  5. 走进JavaWeb技术世界12：从手动编译打包到项目构建工具Maven

    小李的Build之路(上) 转自: 刘欣 码农翻身 2016-07-10 摘要:手工Build的烦恼要不是为了和女朋友留在一个城市,小李肯定去北上广奋斗去了.现在他只能留在这个2.5线城市,进入这家软 ...

  6. VS打包部署图文具体步骤及程序防卸载的制作（password验证卸载）

    1.  在vs2010 选择"新建项目->"其它项目类型"->" Visual StudioInstallerà "安装项目": ...

  7. 在windows下导入react项目并且打包编译后部署到nginx上

    在windows下导入react项目并且打包编译后部署到nginx上 一.安装npm 二.创建react项目 三.安装nginx 四.总结 最近接手了公司的一个django项目,这是应该前后端分离的项 ...

  8. Spark入门实战系列--2.Spark编译与部署（上）--基础环境搭建

    [注] 1.该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取: 2.Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用 ...

  9. Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载mave ...

  10. 【转】VS2012程序打包部署详解

    上篇博客把收费系统的总体设计进行了一遍讲解,讲解的同时掺杂了些有关.NET编译机制的总结.程序编写测试完成后接下来我们要做的是打包部署程序,但VS2012让人心痛的是没有了打包工具.不知道出于什么原因 ...

随机推荐

  1. AutoLayout与UIbutton

    1.UIButton贴近右边,高度固定,宽度跟随标题变化 class TestButton: UIButton { } class ViewController: UIViewController { ...

  2. 构建X264 .a 静态库 For iOS

    一.构建X264准备 1.下载X264源代码到本地,并解压.修改文件夹名称为x264 ftp://ftp.videolan.org/pub/x264/snapshots/ 2.下载gas-prepro ...

  3. #define、const和enum

    enum:枚举类型(枚举变量的值只能等于枚举中定义的常量) #define:明示常量(定义真正的常量) const:限定符(名不符实,应该叫read only),限定一个变量为只读 C语言常量: 1. ...

  4. react兄弟之间通信

    写入组件 import React, { Component } from 'react'//下面二个就是兄弟关系的组件 import Cmp1 from '../Child/Cmp1' import ...

  5. RT-Thread Studio使用教程

    介绍 RT-Thread Studio是官方出品的一款专门针对RT-Thread嵌入式开发.部署.调试.测试的集成开发环境,它基于Eclipse开源项目开发,极大的提高了嵌入式开发者的开发效率,目前最 ...

  6. 燕千云ITAM：解锁数字化时代下企业竞争新优势

    数字化时代下,企业的IT资产管理(ITAM)尤为关键.企业通过在成长的每个阶段实施有效的IT资产管理策略,以确保资源的最优化利用和风险的有效控制,并在竞争激烈的市场环境中保持优势.然而实际实践中,企业 ...

  7. Centos7部署FytSoa项目至Docker——第二步：安装Mysql、Redis

    FytSoa项目地址:https://gitee.com/feiyit/FytSoaCms 部署完成地址:http://82.156.127.60:8001/ 先到腾讯云申请一年的云服务器,我买的是一 ...

  8. Java对称加解密算法AES

    Java对称加解密算法AES import org.apache.commons.codec.binary.Base64; import org.apache.commons.lang3.String ...

  9. .NET Core WebAPI项目部署iis后Swagger 404问题解决

    .NET Core WebAPI项目部署iis后Swagger 404问题解决 前言 之前做了一个WebAPI的项目,我在文章中写到的是Docker方式部署,然后考虑到很多初学者用的是iis,下面讲解 ...

  10. Linux 网络编程的5种IO模型 总结

    背景 在网络编程中,经常会用到一些模型,在这里做一下总结. 正文 Linux 网络编程的5种IO模型:阻塞IO与非阻塞IO 这是最简单的模型,一般配合多线程来实现. Linux 网络编程的5种IO模型 ...