前言 终于,要开始写点大数据相关的文章了.当真的要开始写老本行的时候,还是考虑了挺久的.一是不知道从何处写起,二是如何能写点有意思的. 我们常说,过程比结果重要.也是有很多人喜欢准备完全之后,才会开始做一件事情.但往往还没开始,自己就慢慢地否定了自己的想法. 技术如人生,总有翻不完的山.对未来将要发生的事情有所期待.对未来可能会发生的事情又不抱有期待.我们能做的,只有走好眼前的每一步. 所以,这次就决定从过程开始写起.提出构思和想法,然后去实现,每完成一部分,就写下过程.感悟.可能最后没有达到预

node1 amari-server   node2 amari-agent namenode1,datanode,resourcemanager,zk node3 amari-agent namenode2,datanode,zk 官方安装文档:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.2+from+Public+Repositories 1.关闭防火墙和selinux,配置hosts,配置ssh

前言 本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成功,但是在启动某些服务的时候可能会有异常,比如最后提到的hive启动异常.本文适合系统: RedHat7.CentOS7.Oracle Linux7(都是64位)注意:centos7中文系统有bug(python脚本中文识别问题),需要使用英文系统.本文仅作参考(基本每个配置博客都有局限性和坑

Hadoop生态圈-离线方式部署Ambari2.6.0.0 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我现在所在的公司用的是CDH管理Hadoop集群,前端时间去面试时发现很多企业都在用HDP,于是回来捣鼓来一下HDP的部署方式.部署时也踩过不少坑,这里把正确部署Ambari的方式记录一下.其实部署Ambari的方式和CDH的部署方式大同小异. 本片博客会详细介绍如何使用Ambari来安装HDP发行版本,想要避免去官网踩坑的小伙伴可以这篇笔记很适合你哟!HDP是Honto

一.服务器环境配置 1 系统要求 名称 地址 操作系统 root密码 Master1 10.1.0.30 Centos 7.7 Root@bidsum1 Master2 10.1.0.105 Centos 7.7 Worker1 10.1.0.127 Centos 7.7   Worker2 10.1.0.106 Centos 7.7   Worker3 10.1.0.3 Centos 7.7 系统要求 Centos 7.3以上 64bit 最小化安装 浏览器 Google Chrome 2 S

目录: 为什么要用Ambari 概念概述 原理简介 安装 创建集群 创建集群 手动修改配置 NameNode HA 安装SmartSense 二次开发 为什么要用Ambari Ambari 是 Apache Software Foundation 中的一个顶级项目.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的整个生态圈产品(例如 Hive,Hbase,Sqoop,Zookeeper 等).用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用

一,Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.4.2.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等等),而并不仅是特指 Hadoop.用一句话来说,Ambari 就是为了让 Hadoop 以及相

部署本地库(镜像服务器) (1)下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢) 我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你也可以在线下载,通过wget但是由于文件比较大,所以下载会非常慢)然后把他上传到我们的镜像服务器上. 一个是 Ambari Repositories    两个是 HDP 2.4 Repositories http://docs.hortonworks.com/index.html http://d

一.下载安装包 因为使用在线安装特别慢,所有的安装包加起来有9个G左右,所以本教程是通过迅雷下载包,然后上传到服务器,通过配置本地源的方式来实现的离线安装.通过ambari安装需要下载下面的三个主要包: HDP:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz ambari:http://public-repo-1.hortonworks.com/

ambari2.7.3(hdp3.1) 安装 elasticsearch6.3.2 ambari的hdp中原生不支持elasticsearch安装,下面介绍如何通过mpack方式使ambari支持elasticsearch安装: 一 安装Service 1 下载 Mpack include version 6.3.2 of ElasticSearch, Logstash, Kibana, FileBeat, and MetricBeat # wget https://community.hort

ambari2.7.3(hdp3.1) 安装 hue4.2 ambari的hdp中原生不支持hue安装,下面介绍如何通过添加service的方式使ambari支持hue安装: 官方:http://gethue.com/ Hue is an open source Workbench for developing and accessing Data Apps. 一 安装SERVICE 第三方service:https://github.com/EsharEditor/ambari-hue-ser

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注:本文基于root用户操作 一.安装环境准备 操作系统 centos7.5 hdc-data1:192.168.163.51 hdc-data2:192.168.163.52 hdc-data3:192.168.163.53 [安装环境准备每台集群机器一样的操作,或者使用scp远程拷贝] 1.主机名IP映射配置 FQDN

CentOS-7.2安装Ambari-2.6.1 一.Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.6.1.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等等),而并不仅是特指 Hadoop.用一句话来

运维监控-基于yum的方式部署Zabbix Server 4.0 版本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.如何选择zabbix版本 1>.打开zabbix官方网址(https://www.zabbix.com/) 2>.查看zabbix版本的生命周期(https://www.zabbix.com/life_cycle_and_release_policy) 如下图所示,如果还在使用zabbix2.2版本的小伙伴应该尽量往zabbix3.0 LTS或者zabb

不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增

第三章 YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡. 这样的机器配置比较适合计算密集型的业务,但是如果是IO密集型的业务的话,就会发现磁盘成为瓶颈,会发现磁盘利用率100%,网络利用率100%,但是CPU只用了不到5%.存在巨大的资源浪费.

一.ambari架构解析 二.基础环境配置 以两台节点为例来组件Hadoop分布式集群,这里采用的系统版本为Centos7 1511,如下表所示: 主机名 内存 硬盘 IP地址 角色 master 8192MB 100G 192.168.200.6 Ambari-Server Ambari-Agent slaver 8192MB 100G 192.168.200.7 Ambari-Agent 搭建所需各软件版本信息 ①ambari-2.7.1.0-centos7.tar.gz ②jdk-8u15

准备本地 repository 1. 下载下面的包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz wget http://public-repo-1.ho

Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应.管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. Hbase.Zookeeper.Sqoop和Hcatalog等.提供Web UI进行可视化的集群管理,简化了大数据平台的安装.使用难度. 主机配置规划 主机名 IP 配置 操作系统 角色 c1.heboan.com 10.1.1.121 2核/8G CentOS Linux release 7.

部署Ambari Server实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.准备三台虚拟机(需要自行安装jdk环境) 1>.角色分配 NameNode节点: hdp101.yinzhengjie.org.cn DataNode节点: hdp101.yinzhengjie.org.cn hdp102.yinzhengjie.org.cn hdp103.yinzhengjie.org.cn MySQL服务器: hdp101.yinzhengjie.org.cn YU

一. Ambari等简单介绍 1.1Ambari Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建 .管理和监控. Ambari已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. Hbase.Zookeeper.Sqoop和Hcatalog等.Apache Ambari 支持HDFS.MapReduce.Hive.Pig.Hbase.Zookeepr.Sqoop和Hcatalog等的集中管理.也是5个顶级hadoop管理工具之一. Am