配置zabbix客户端配置文件 vim /etc/zabbix/zabbix_agentd.conf 添加  Include=/etc/zabbix/zabbix_agentd.d/ #!/bin/bash kubectl get pods --all-namespaces|grep -ci error 在/etc/zabbix/zabbix_agentd.d目录下的配置文件添加 UserParameter=k8s_error,sudo /etc/zabbix/scripts/k8s_error

情况介绍 首先确保邮箱规则没有把报警邮件作为垃圾邮件拉黑了. 服务器断电重启后,发现zabbix报警邮件无法发送,断电之前是好好的,但是重启后不行了,于是查看maillog日志,发现这个错误: Host found but no data record of requested type. [root@zabbixminitor ~]# tail /var/log/maillog Nov 14 19:52:05 zabbixminitor postfix/pickup[3914]: 72A482

zabbix报警媒介------>微信报警 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 欢迎加入高级运维工程师之路:598432640 微信在我们的生活中使用的比较频繁,有时候你们发现身上没带钱,照样可以购物啥的,之前我们介绍了zabbix监控媒介的一种方式就是 邮件报警,但是邮件报警可能我们不会及时看到相应的信息,因此,微信就是一个不错的媒介工具.哎~再实现监控报警的过程中是很痛苦的, 幸好我的一个贵人(曹艳飞)给我指点迷津,才有了今天的这篇文章,所以花点时间记录一下这个

zabbix报警逻辑初探 首先贴出一张网上找的一张关于zabbix报警相关表结构及表关联逻辑图: actions表 actions表对应前端配置是动作(actions) action由condition(条件)和operations(操作)组成.当满足指定的条件,然后执行操作.发送内容在动作里配置(比如默认情况下没有加上报警产生时间,可以人为加上去). MariaDB [rtm]> desc actions; +---------------+---------------------+----

日常Zabbix报警案例中,大多都是报警发送邮件,场景里很少有需要报警后执行一个命令(启动服务.清空磁盘空间.关停服务器);而今天就给大家讲讲最近需要做的事:报警后执行远程命令 刚好zabbix动作中有个远程命令功能,那么就通过它来解决问题.. 远程命令整个过程: items - triggers - action - remote commands 配置过程: 1.创建一个mongodb items Configuration - Hosts Items wKioL1PN6SjB5IWmAAG

[k8s]k8s pod的4种网络模式最佳实战(externalIPs )       hostPort相当于docker run -p 8081:8080,不用创建svc,因此端口只在容器运行的vm上监听 缺点: 没法多pod负载 $ cat pod-hostport.yaml apiVersion: v1 kind: Pod metadata: name: webapp labels: app: webapp spec: containers: - name: webapp image: t

简介 微信作为日常使用最频繁的工具,因此希望将微信接入zabbix报警. 微信企业号 1.申请微信企业号 申请后,请在“我的企业”页面下记录企业号的CorpID 2.添加通讯录 部门添加完成后,根据实际情况添加子部门或相关成员,如下: 3.创建应用 在“企业应用”页面创建应用 注意: 可见范围一定要添加需要收到报警的人员或部门,否则zabbix报警信息无法推送到相关人员. 创建完成如下: 至此,微信企业号的配置完成. zabbix server端配置 一.微信报警脚本 默认将脚本放到/usr/l

一.k8s pod 在节点间调度控制 k8s起pod时,会通过调度器scheduler选择某个节点完成调度,选择在某个节点上完成pod创建.当需要在指定pod运行在某个节点上时,可以通过以下几种方式: 1. 在部署pod的yaml中,指定nodeName 指定了nodeName的Pod会直接跳过Scheduler的调度逻辑,直接写入PodList列表,该匹配规则是强制匹配.eg:apiVersion: extensions/v1beta1kind: Deploymentmetadata: nam

请查看官方的说明 kubectl cp --help 官方说使用cp , pod里需要有tar命令 从k8s pod 中 拷贝 文件到本地 这是我使用的命令 kubectl exec redis-6c98cb5b5f-nxb59 -- tar cPf - /data/dump_redis.rdb | sudo tar xf - -C . 出现这个报错,tar: Removing leading /' from member names` 可以忽略 会在当前目录产生 data/dump_redis

前言 近期发现业务高峰期时刻会出现CPU繁忙导致的timeout异常,通过监控来看是因为Node上面的一些Pod突发抢占了大量CPU导致的. 问: 没有限制CPU吗?是不是限制的CPU使用值就可以解决了呢? 解: 其实不能根本解决这个问题,因为使用的容器引擎是Docker,而Docker是使用了cgroups技术,这就引入了一个老大难的问题,cgroup的隔离性.当问题发生时并没有办法把异常CPU进程直接摁住,而会有短暂的高峰,现象为:限制了CPU为2核,突发时CPU可能是4.5.6等,然后容器

环境概况 自建k8s集群,主机操作系统ubuntu16.04,k8s版本v1.14, 集群网络方案calico-3.3.6. worker节点数50+,均为GPU物理服务器,服务器类型异构,如Nvidia P4/T4/V100等. 异常现象 故障起因是k8s集群新增加了一台worker节点机器server-n1,该机器上带有8张网卡eth0~eth7, 其中eth0~eth3没有配置ip地址,eth4~eth7配置了ip地址,默认使用eth4网卡. 调度到server-n1节点上的pod,无法访

案例1:实现Zabbix报警功能 案例2:Zabbix自动发现 案例3:Zabbix主动监控 案例4:拓扑图与聚合图形 案例5:自定义监控案例 1 案例1:实现Zabbix报警功能 1.1 问题 沿用第5天Zabbix练习,使用Zabbix实现报警功能,实现以下目标: 监控Linux服务器系统账户 创建Media,设置邮件服务器及收件人邮箱 当系统账户数量超过26人时发送报警邮件 1.2 方案 自定义的监控项默认不会自动报警,首页也不会提示错误,需要配置触发器与报警动作才可以自定报警. 什么是触

                                                                                                      实现Zabbix报警功能 案例1:实现Zabbix报警功能 案例2:Zabbix自动发现 案例3:Zabbix主动监控 案例4:拓扑图与聚合图形 案例5:自定义监控案例 案例1:实现Zabbix报警功能 1.1问题 沿用第5天Zabbix练习,使用Zabbix实现报警功能,实现以下目标: 监控L

节点健康检测 意义 在K8S集群运行的过程中,节点常常会因为运行时组件的问题.内核死锁.资源不足等各种各样的原因不可用.Kubelet默认对节点的PIDPressure.MemoryPressure.DiskPressure等资源状态进行了监控,但是当Kubelet上报这些状态的时候,节点很可能已经长时间处于不可用状态了,并且Kubelet可能已经开始了驱逐Pod的操作.所以原生K8S对节点健康的检测机制在一些场景下是不完善的,我们需要能够在节点出现问题之前提前发现,并且需要更加细致化的指标来描

关键词:k8s.jvm.高可用 1.背景 最近有运维反馈某个微服务频繁重启,客户映像特别不好,需要我们尽快看一下. 听他说完我立马到监控平台去看这个服务的运行情况,确实重启了很多次.对于技术人员来说,这既是压力也是动力,大多数时候我们都是沉浸在单调的业务开发中,对自我的提升有限,久而久之可能会陷入一种舒适区,遇到这种救火案例一时间会有点无所适从,但是没关系,毕竟...... "我只是收了火,但没有熄炉",借用电影中的一句话表达一下此时的心情. 2.初看日志 我当即就看这个服务的运行日志

背景 某项目采用微服务架构,dubbo 框架,K8s 方式部署. 其中 HTTP 协议由网关应用统一处理,大部分应用仅提供 dubbo 协议. 目标 应用某个实例(pod)状态异常时,尝试自动重启恢复. 解决 K8s 提供了3种存活探针(livenessProbe),以实现 pod 状态异常时重启. HTTPGetAction 首先排除了,因为上文我们说了,HTTP 访问由网关统一处理,应用本身没有 HTTP 协议. 然后是 TCPSocketAction,该探针仅能确认 dubbo 端口是否为

采用微信报警时,管理员账户中必须要设置"示警媒体"一项,"收件人"一项可随便填写一下.其它成员则可以不用添加设置. ------------------------------------------------------------------------------------------------------------------------------------- 1. 首先要自己申请一个微信企业号(貌似一个人可以申请好几个,我测试的时候同样的信息申

cd /usr/share/logstash/ vim Gemfile source "https://ruby.taobao.org/" ##修改成国内镜像站 source "https://gems.ruby-china.org/" ##修改成国内镜像站   bin/logstash-plugin install logstash-output-zabbix ##安装logstash-output-zabbix       /usr/bin/zabbix_sen

首先在钉钉群聊里添加一个自定义的机器人 并复制webhook的内容 https://oapi.dingtalk.com/robot/send?access_token=37e23308d1b84eb4ac34566e03c4c4e74b7eedecbcc002exxxxxxxxxxxxxxx 创建脚本 在zabbix服务端的alertscripts目录下新建一个python脚本,内容: #!/usr/bin/python # -*- coding: utf-8 -*- # Author: bai

zabbix大量报警,运行进程过多,但实际有部分机器可以忽略,需要关闭相关的报警 Configuration-->Templates找到Template_Linux点该行的 Triggers选择 Lack of free memory on server {HOSTNAME} Too many processes on {HOSTNAME} 修改对应的告警值,或者直接停用disabled Host:dev.test_server Trigger: Too many processes on de

1安装 sendmail # yum -y install sendmail echo 'This is test mail'>body.txt mail -s 'Test mail' 30138076@qq.com < body.txt 一:为了让QQ邮件可以增加邮件白名单,需给主机指定代发人的正确格式 如:xxx.com 以下做了几个步骤 不知道是哪个才生效: 1: vim /etc/sysconfig/network HOSTNAME=9quidc.com 2: vim  /etc/ma