Prometheus 横向扩展 当Exporter或者采集信息需要越来越多时就会考虑高可用,高可用优点不会因为集群中某个节点down而导致Prometheus不可用,可以让算力下沉; 缺点是A-Prometheus和B-Prometheus这两个实例会定时去scrape数据,并且存储在各本地,这样导致数据会存储两份; 高可用配置 将Prometheus启动两个实例,配置一样只需要暴露的service的端口不同,'Nginx Controller'配置session-affinity的servic…

Prometheus 配置文件详解 官方文档:https://prometheus.io/docs/prometheus/latest/configuration/configuration/ 指标说明 1.Prometheus以scrape_interval规则周期性从监控目标上收集数据,然后将数据存储到本地存储上.2.scrape_interval可以设定全局也可以设定单个metrics.3.Prometheus以evaluation_interval规则周期性对告警规则做计算,然后更新告警…

exporter详解 前面的系列中,我们在主机上面安装了node_exporter程序,该程序对外暴露一个用于获取当前监控样本数据的http的访问地址, 这个的一个程序成为exporter,Exporter的实例称为一个target, prometheus通过轮训的方式定时从这些target中获取监控数据. exporter是什么 广义上向prometheus提供监控数据的程序都可以成为一个exporter的,一个exporter的实例称为target, exporter来源主要2个方面,一个是…

NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重.因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop 生态系统中依赖于 HDFS 的各个组件,包括 MapReduce.Hive.Pig 以及 HBase 等也都无法正常工作,并且重新启动 Nam…

在Hadoop1中NameNode存在一个单点故障问题,如果NameNode所在的机器发生故障,整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode,但是它并不是NameNode的备份,它只是NameNode的一个助理,协助NameNode工作,SecorndaryNameNode会对fsimage和edits文件进行合并,并推送给NameNode,防止因edits文件过大,导致NameNode重启变慢),这是Hadoop1的不可靠实现. 在Hadoop2中这个问题得…

HDFS2.0概述 一背景,Hadoop1.0中HDFS和MapReduce在高可用,扩展性等方面存在问题    HDFS存在问题,1,NameNode单点故障,难以应用于在线场景.2,NameNode压力过大,且内存受限,影响系统扩展.    MapReduce存在的问题,1,JobTracker访问压力大,影响系统扩展性,2,难以支持除MapReduce之外的计算框架,比如Spark,Storm等 二 Hadoop1.X与Hadoop2.X区别        解决HDFS1.0种单点故障和内…

很久没有动笔写博客了.总算最近的几项工作告一段落,对iOS和Android的折腾也兴趣稍退,该写点技术博客了. 想写一篇关于VMware HA的博客由来已久,曾经做了些功课,查了不少资料,写了点笔记,但是终于因为各种原因没有成文.随着vSphere 5的发布,HA机制作出了不少调整,很有必要写一些了.本文(或许我可能还会就ESX4的HA机制和操作写上几篇,凑成一个系列)就是我的一点读书笔记整理而成. 注:谢绝不加引用和出处的恶意转载.谢绝百度文库任何形式的转载. [什么是HA] HA的英文是Hi…

Prometheus 介绍 Prometheus(普罗米修斯)是一个最初在SoundCloud上构建的监控系统.自2012年成为社区开源项目,拥有非常活跃的开发人员和用户社区.为强调开源及独立维护,Prometheus于2016年加入云原生云计算基金会(CNCF),成为继Kubernetes之后的第二个托管项目. 官方网站:https://prometheus.io 项目托管:https://github.com/prometheus Prometheus 特点 作为新一代的监控框架,Prome…

Basic CPU / Mem / Disk Info https://www.cnblogs.com/qianyuliang/p/10479515.html Basic CPU / Mem / Disk Gauge   https://www.cnblogs.com/qianyuliang/p/10479553.html Basic CPU / Mem Graph    https://www.cnblogs.com/qianyuliang/p/10479585.html Basic Net…

不多说,直接上干货! 1.先每台机器的zookeeper启动(bigdata-pro01.kfk.com.bigdata-pro02.kfk.com.bigdata-pro03.kfk.com) 2.启动zkfc(bigdata-pro01.kfk.com上) [kfk@bigdata-pro01 hadoop-2.6.0]$ pwd /opt/modules/hadoop-2.6.0 [kfk@bigdata-pro01 hadoop-2.6.0]$ sbin/hadoop-daemon.sh…