0x00 背景 K8S内运行Spring Cloud微服务,根据定制容器架构要求log文件不落地,log全部输出到std管道,由基于docker的filebeat去管道采集,然后发往Kafka或者ES集群. 0x01 多行匹配和yaml文件 在filebeat启动的yaml文件内,指定相应的名称空间并配置java堆栈的多行解析规则,如下yaml文件输出端是kafka,如需要输出到es集群,可更改对应配置 apiVersion: v1 kind: Namespace metadata: name:

k8s 执行 ingress yaml 文件报错:错误如下: [root@k8s-master01 baremetal]# kubectl apply -f ingress-test.yaml Error from server (InternalError): error when creating "ingress-myapp.yaml": Internal error occurred: failed calling webhook "validate.nginx.in

kubernetes创建pod的yaml文件,参数说明 apiVersion: v1 #指定api版本,此值必须在kubectl apiversion中 kind: Pod #指定创建资源的角色/类型 metadata: #资源的元数据/属性 name: web04-pod #资源的名字,在同一个namespace中必须唯一 labels: #设定资源的标签,详情请见http://blog.csdn.net/liyingke112/article/details/77482384 k8s-app

0x00 概述 filebeat非常轻量级,正常情况下占用的资源几乎都能忽略不计,但是部署后发现资源占用很大,所以怀疑是filebeat本身出了问题. 第一时间查看filebeat日志(默认路径/var/log/filebeat/filebeat,K8S需要在控制台实时查看pod的日志),发现有大量内容输出: 2019-03-20T08:55:02.198+0800 INFO kafka/log.go:53 producer/broker/544 starting up 2019-03-20T0

一.ConfigMap 1.使用目录创建 vim game.properties vim ui.properties 在一个文件夹下创建两个文件,通过以下命令创建 kubectl create configmap game-config --from-file=../configMap/ --from-file:指定一个目录(绝对路径或相对路径都可以),目录下的所有内容都会被创建出来.以键值对的形式 --from-file指定在目录下的所有文件都会被用在 ConfigMap 里面创建一个键值对,

YAML语法规范:在kubernetes k8s中如何通过yaml文件创建pod,以及pod常用字段详解 YAML 语法规范 K8S 里所有的资源或者配置都可以用 yaml 或 Json 定义.YAML 是一个 JSON 的超集,任何有效的 JSON 文件也都是一个有效的YAML文件. 具体参见:「YAML 语言教程与使用案例」 通过yaml创建nginx pod对象 yaml文件 在Kubernetes的 yaml文件中,最好不要出现下划线,可以有中横线. [root@k8s-master t

apiVersion: v1 kind: Pod_name metadata name: pod_name #描述Pod的名字 namespace: default #描述Pod所在命名空间,如果不设置,则默认为default labels: label_name: label #设置Pod的label annotations: annotatios_name: values #设置POD注解 # label和annotations区别在于label可以被selector 而annotation

根据生产环境要求,需要采集K8Spod 日志,和开发协商之后,pod中应用会将日志输出到容器终端上,这时可以直接用filebeat 采集node节点上面的/var/log/containers/*.log日志,然后将日志输出到kafka消息队列中,经过kafka将日志写入logstash进行格式化,然后由logstash传入elasticsearch存储,然后kibana会连接elasticsearch展示索引数据. 数据传输流程:Pod -> /var/log/containers/*.log

k8s日志收集方案 三种收集方案的优缺点: 下面我们就实践第二种日志收集方案: 一.安装ELK 下面直接采用yum的方式安装ELK(源码包安装参考:https://www.cnblogs.com/Dev0ps/p/9309103.html)1.安装jdk yum install -y java 2.添加ELK源 cat << EOF >>/etc/yum.repos.d/logstash.repo [logstash-7.x] name=Elastic repository for

日志系统elfk 前言 经过上周的技术预研,在本周一通过开会研究,根据公司的现有业务流量和技术栈,决定选择的日志系统方案为:elasticsearch(es)+logstash(lo)+filebeat(fi)+kibana(ki)组合.es选择使用aliyun提供的es,lo&fi选择自己部署,ki是阿里云送的.因为申请ecs需要一定的时间,暂时选择部署在测试&生产环境(吐槽一下,我司测试和生产公用一套k8s并且托管与aliyun......).用时一天(前期有部署的差不多过)完成在ku

K8S监控实战-ELK收集K8S内应用日志 目录 K8S监控实战-ELK收集K8S内应用日志 1 收集K8S日志方案 1.1 传统ELk模型缺点: 1.2 K8s容器日志收集模型 2 制作tomcat底包 2.1 准备tomcat底包 2.1.1 下载tomcat8 2.1.2 简单配置tomcat 2.2 准备docker镜像 2.2.1 创建dockerfile 2.2.2 准备dockerfile所需文件 2.2.3 构建docker 3 部署ElasticSearch 3.1 安装Ela

本文首发于我的公众号 Linux云计算网络(id: cloud_dev),专注于干货分享,号内有 10T 书籍和视频资源,后台回复「1024」即可领取,欢迎大家关注,二维码文末可以扫. Hi,大家好,欢迎大家和我一起学 K8S,这是系列第 5 篇. 生活中,随处可见,几乎每一款产品都会附带一份说明书,说明书可以记录产品的使用方法,也可以记录产品的配方.有了说明书,我们完全可以窥探一款产品的全貌. 在 K8S 中,yaml 配置文件就是 K8S 资源对象的说明书,定义了对象包含的元素及采取的动作,

这篇文章记录了我试验将一个基于python的服务docker化并k8s部署的过程. 服务介绍Docker化设计业务代码改造创建docker镜像K8S部署设计yaml文件运行服务介绍这是一个用 python 实现的程序,tornado 作为 web 服务器,mongodb 作为存储,redis 作为缓存. Docker化设计为了方便,使用docker hub作为镜像仓库,而不是自己搭建私有库.业务代码直接打包进docker image,如果修改业务代码,需要重新生成docker image.业务代

一.虚拟机准备 干净的Centsot7.4.4G内存.2个CPU 最小化安装,最好带虚拟化 二.执行初始化脚本 注意:脚本中配置静态网卡根据实际网卡名称配置,我用的是ens33 可以用 sed -i "s/ens33/(实际网卡名)/g" 文件路径 进行替换 #!/bin/bash echo "正在执行安装k8s环境初始化..." #关闭防火墙 /usr/bin/iptables -F >/dev/>& /usr/bin/iptables -X

0. 前置条件 安装好k8s.. traefik的简介图 1. 安装 traefik 方法: 创建一个目录 并且存放部分文件等. mkdir /traefik cd /traefik git clone https://github.com/containous/traefik.git cd traefik/examples/k8s/ 里面的文件主要有偶: [root@CentOS75 k8s]# tree.├── cheese-default-ingress.yaml├── cheese-de

一.搭建nginx+php 1.站点配置文件 1.1创建nginx-configmap.yaml [root@master k8s]# cat nginx-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: nginx-config data: default.conf: | server { listen 80; server_name localhost; root /usr/share/nginx/html; acce

filebeat安装dashboard 参考: https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html 发现安装时候报错 ./filebeat setup --dashboards ./filebeat -e --modules nginx ./filebeat -e --modules system,nginx,mysql 解决: vim filebeat.yaml 仅仅写入下面内

硬件环境: 两台虚拟机, 10.10.20.203 部署docker.etcd.flannel.kube-apiserver.kube-controller-manager.kube-scheduler 10.10.20.206 部署docker.flannel.kubelet.kube-proxy 软件环境: kubernetes:1.3.3 DNS-etcd:index.tenxcloud.com/google_containers/etcd:2.2.5 kube2sky:index.ten

需求: 在k8s集群里的某个模块生成的目录文件或者更新的目录文件,存储到外面某台服务器上 1.安装nfs服务(192.168.1.2  Ubuntu 16.04) apt-get install nfs-kernel-server nfs-common 2.配置nfs挂载目录 vi /etc/exports /data *(rw,sync,no_root_squash) /data:共享目录 *:所有主机能访问 rw:读写权限 ro:只读 sync:同步 no_root_squash:不降低ro

前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署的,这个集群差不多搞了一周时间,关于k8s的知识点,我也是刚入门,这方面的知识建议参考博客园大神edisonchou的系列文章<.NET Core on K8S学习实践系列文章索引(Draft版)>,为什么我要写该系列的文章,是因为我之前 工作的几家公司应用都已经容器化了,.net framework 应用也在慢慢迁移到.net core 上,.net core 从1.0就开始使用了,作

node节点组件 docker kubelet kube-proxy kubernetes-server-linux-amd64.tar.gz(相关的这里都能找到二进制文件!) falnnel 1. 系统初始化 1.01 系统环境&&基本环境配置 [root@localhost ~]# uname -a Linux localhost.localdomain 4.18.0-80.11.2.el8_0.x86_64 #1 SMP Tue Sep 24 11:32:19 UTC 2019 x8