为数据节点添加新硬盘 - 挂载硬盘到指定文件夹.如`/dfs_diskb`: - 打开cloudera manager -> hdfs -> 配置 -> DataNode -> DataNode Default Group,添加新硬盘所挂载的目录,注意节点所在群: - 重启hdfs服务. hdfs数据平衡 在主节点(其它节点未测试)执行命令:sudo -u hdfs hdfs balancer. 集群时钟同步 - ntp服务端和外网同步:`sudo /etc/init.d/ntp

CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检查 • • Install the complete CDH stack in minutes and ensure optimal settings 安装完整的CDH及优化配置 Service Management 服务管理 • • Configure and

因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以需要借助Cloudera来安装,因为它本身集成了丰富的数据分析处理相关的组件和管理工具,而且还能帮助简化集群安装和配置. Cloudera提供多种安装方式,但公司IT政策不允许本地集群接入互联网,所以我们只能选择离线安装这种方式. 安装前准备 主机和系统 Host OS Memory IP Hado

1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装.配置,启动和停止服务 – 管理服务运行的群集 • Agent – 安装在每台主机上 – 负责启动和停止进程,配置,监控主机 • Management Service – 由一组角色组成的服务,执行各种监视.报警和报告功能 • Database • Cloud

集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些. 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点.去将 zk 角色调整到三个节点. 上一张目前的角色图 下面我将分别列出各应用的各个简写代表的意义: Hbase: M: Master | RS: RagionServer HDFS: B: Balance | DN: DataNode | FC: Failover Controller | JN: Journ

1.单个节点宕机后,想可能存在的问题: 时间同步是否正常运行 hbase对时间是否同步很敏感 2.zookeeper报警 ZooKeeper 服务 canary 因未知原因失败. 该警报是在重启CM的时候会触发的一个警报. 警报的展示如下: 报错解释: 这是 ZooKeeper 服务级运行状况测试,用于检查基本客户端操作是否正常以及是否在合理时间内完成.该测试将对定期执行以下操作序列的“Canary”测试的结果进行报告. 首先,与 ZooKeeper 服务连接并建立会话(根会话),并创建一个永久

环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 zookeeper-3.4.11 一.CDH在商业应用中,对于企业成百上千的机器集群进行安装hadoop一系列组件费时费力,而且hadoop各个开源组件版本混乱,管理升级也比较困难,对于企业日常的管理维护带来极大不b便,现在商用的比较流行国外的是CDH(Cloudera’s Distribution Including Apache Hadoop),国内是星

CDH大数据平台实施经验总结2016(转载) 2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来. 1. 平台规划注意事项 1.1 业务数据全部存储在datanode上面,所以datanode的存储空间必须足够大,且每个datanode的存储空间尽量保持一致. 1.2 管理节点/namenode对存储空间要求不高,主要存储各计算节点datanode的元数据信息,以3个datanode为例,每个datanode存储2T的数据,nam

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等. CM是cloudera manager的简称,是CDH的管理平台,主要

在CDH安装完成后或者CDH使用过程中经常会有错误或者警报,需要我们去解决,积累如下: 解决红色警报 时钟偏差 这是因为我们的NTP服务不起作用导致的,几台机子之间有几秒钟的时间偏差. 这种情况下一是把NTP重新整理配置一下. 一种是在操作里调整报警误差范围. 因为NTP的时间同步是平滑同步,不是跳跃式同步,如果设置得不好的话,很难校验出它同步成功了没,总感觉会缺少几秒钟的感觉. 有一种解决方法是  我们这里不用NTP的自动同步,而是使用crond每分钟ntpdate 跳跃式同步一次. 这种方法

1首先对于一个java还白的小白,先理解CDH与Hadoop的关系 一.Hadoop版本选择. Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop,考虑到Hadoop集群部署的高效,集群的稳定性, 以及后期集中的配置管理,业界多使用Cloudera公司的发行版,简称为CDH. 下面是转载的Hadoop社区版本与第三方发行版本的比较: Apache社区版本 优点: 完全开源免费.社区活跃文档.资料详实 缺点: 因为很活跃所以版本对应关系,各个版本层出不穷,让使用者

什么是 CDH Hadoop 是开源项目,所以很多公司在这个基础上进行商业化,不收费的 Hadoop 主要有三个: Apache,最原始的版本,所有发行版均基于这个版本进行 Cloudear,全称 Cloudera's Distribution Including Apache Hadoop,简称 CDH Hortonworks,全称 Hortonworks Data Platform,简称 HDP 什么是 Cloudera Manager Cloudear Manager,简称 CM,用于管理

第一章 创建钉钉应用(用于发送报警信息给单独某个用户) 打开钉钉管理后台: https://oa.dingtalk.com 创建成功后需要记录三个值"AgentID","AppKey","AppSecret". 第二章 创建钉钉机器人(用于发送报警信息到监控群) 2.1创建钉钉群 过程略过. 2.2添加群机器人 #此处要记录webhook,脚本中需要调用. 第三章 编写报警脚本(此脚本会在服务器出现异常后调用) 此脚本是基于Python3写的,调

一.Cloudera Manager介绍 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装.中心化管理.集群监控.报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率. 开始之前其实有很多的工作要做,比如配置IP地址.关闭防火墙.配置SSH免密登录等,这些都是比较常规的环境配置,这里不再赘述,不懂者可以参考大数据 -- Hadoop集群环境搭建中部分内容. 附上

经过无数次的失败,终于将CDH安装到两台普通的笔记本电脑上,主要失败原因有以下几点: 不熟悉安装过程,官方给出的安装方法有三种,所以都尝试了一遍,浪费了大量时间,所以有时候方法多不见得是一件好事. 安装设备太差,有时会因为占用内存或者CPU占用过高而死机. 安装网络环境太差,导致传输过程可能出现超时失败现象. 安装时间过久,导致出错后重新再来时间付出太多. 以下讲的方法不是最优的方法,但是是我们最后的方法,可供参考. 1.搭建环境 两台笔记本电脑A和B,自带内存分别为12G和8G,安装VMwar

主要的不同点 apache Ambari ClouderaManager Express(免费版) 配置版本控制和历史记录 支持 不支持 二次开发 支持 不支持 集成 支持 no (不支持redis.kylin.es) 维护 依靠社区力量 cloudera做了一些定制开发,自行维护或打patch会离社区越来越远 权限控制 ranger(相对简单) sentry(复杂) 视图定制 支持创建自己的视图,添加自定义服务 不支持 出版商: hortonworks研发了Ambari和hdp的大数据分析集成

1.通用的配置CDH邮件报警设置 进入cloudera manager service页面,选择配置 左侧菜单Alert Publisher 勾选[启用电子邮件警报] 邮件服务协议smtp,如果使用ssl加密的,请选择smtps 输入邮件服务器主机名称或者IP 输入邮件服务器用户名,一般和邮箱一致 输入邮箱密码或者授权码,授权码具体百度,邮箱授权码 填写邮件发件人邮箱 填写邮件收件人邮箱 第二页设置,修改TCP端口为25,这里的端口就是SMTP服务的端口 回到CDH主页,管理--警报--发送测试

目录 前言 若干坑 总结 一.前言        近期干了一件事情,将geotrellis程序移植到CDH中(关于CDH,可以参考安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节),本以为这是件很简单的事情,没想到跟安装CDH一样却碰到了许多的坑,很多事情真的就是这样,我们不去亲自实践觉得都是简单的,当我们真正甩开膀子去干的时候却发现会遇到各种各样的问题,但是当我们将这些一个个解决的时候,你收获的将不仅是美好的结果,更是很多通过学习无法得到的东西,

最近发现公司的测试环境中有个Socket服务的端口总是莫名其妙Down掉,但是服务却正常运行着,看样子是僵死了... 虽然是测试环境,但是也不能这样放着不管,于是连夜写了一个简单的监控脚本.因为服务器是Windows的,所以要用到wmi模块.逻辑如下: 1.使用CMD命令"net start"获取系统中处于运行状态的服务,将这些服务名称生成一个列表. 2.判断监控的服务是否存在于列表中,如果不存在说明服务已经停止,那么将尝试启动服务,并发送报警邮件. 3.向本地的Socket服务端口发

需求:在zabbix服务器配置短信报警,当服务出现故障达到预警级别是通过发送短信的形式告诉运维人员,以便及时处理. 一.zabbix服务器端配置短信脚本 我的短信脚本放置位置为 /etc/zabbix/alertscripts,这个必须在/etc/zabbix/zabbix_server.conf配置文件中放开 AlertScriptsPath=/etc/zabbix/alertscripts 进入/etc/zabbix/alertscripts目录,创建短信告警脚本sendSMS.sh,内容入

Zabbix邮件报警配置 一.安装sendmail或者postfix(安装一种即可) yum install sendmail #安装 service sendmail start #启动 chkconfig sendmail on #设置开机启动 或者 yum install postfix service postfix start chkconfig postfix on 二.安装邮件发送工具mailx yum install mailx #安装 三.设置发送邮件的email,用于邮件发送