前段时间看了马哥的k8s新书,最后几章讲了下EFK,尝试部署了下,很多问题, 这里改进下,写个笔记记录下吧. 准备工作 所有组件都通过helm3部署,选添加几个仓库. helm repo add bitnami https://charts.bitnami.com/bitnami helm repo add fluent https://fluent.github.io/helm-charts 存储用的nfs的sc,自行解决. 三个4G内存工作节点的k8s集群. 部署es 其中动态pv, pro…

1.Nginx访问日志 配制访问日志:默认定义格式: log_format combined_realip '$remote_addr $http_x_forwarded_for [$time_local]'' $host "$request_uri" $status'' "$http_referer" "$http_user_agent"';  (这是定义日志引用时的名字:combined_realip,后面的内容,就是需要被引用的)可以理解为…

**环境说明**系统:ubuntu 14.04 (CentOS可以参考http://www.cnblogs.com/hanyifeng/p/5463338.html) rsyslog版本 :8.16.0-1ubuntu3 目标log位置 /data/mysqldata/mysql-audit.log **日志服务端配置**1.打开/etc/default/rsyslog# 修改RSYSLOGD_OPTIONS=”” RSYSLOGD_OPTIONS=”-r” # 参数解释 # -r: 允许接受外…

一.Nginx访问日志 vim /usr/local/nginx/conf/nginx.conf //搜索log_format  日至格式 改为davery格式 $remote_addr  客户端IP(公网IP) $http_x_forwarded_for  代理服务器的IP $time_local    服务器本地时间 $host  访问主机名(域名) $request_uri  访问的url地址 $status  访问的url地址 $http_referer  状态码 $http_refer…

2019独角兽企业重金招聘Python工程师标准>>> 12.10 Nginx访问日志 日志格式 vim /usr/local/nginx/conf/nginx.conf //搜索log_format 参数 名称 $remote_addr 客户端IP(公网IP) $http_x_forwarded_for 代理服务器的IP $time_local 服务器本地时间 $host 访问主机名(域名) $request_uri 访问的url地址 $status 状态码 $http_referer…

难的不是技术,难的是业务.熟悉业务流程才是最难的. 其实搜索进来的每一个人的需求不一样,希望你能从我的这篇文章里面收获到. 建议还是看官方文档,更全面一些. 一.背景 1,收集nginx  access  error日志,nginx日志最开始是main日志,后来被我改成了json日志方便收集 2,收集php info  error日志,php日志就是标准的 3,每一个php服务都是docker容器启动 4,每一个php容器服务里面都有一个nginx服务 5,需要收集日志的php服务大概30个 6…

1.NGINX安装配置 源码安装nginx 因为资源问题,我们先将nginx安装在Logstash所在机器 #安装nginx依赖包 [root@elkstack03 ~]# yum install -y gcc gcc-c++ automake pcre-devel zlib-devel openssl-devel #下载nginx安装包 [root@elkstack03 ~]# wget http://nginx.org/download/nginx-1.10.3.tar.gz #解压 [ro…

本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计. 由于涉及生产线上服务器,故本文部分服务器IP做了打码处理. 一.服务介绍 1.1.ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一…

本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计. 由于涉及生产线上服务器,故本文部分服务器IP做了打码处理. 一.服务介绍 1.1.ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一…

preface 公司采用的LNMP平台,跑着挺多nginx,所以可以利用elk好好分析nginx的日志.下面就聊聊它吧. 下面的所有操作都在linux-node2上操作 安装Nginx nginx是开始,所以你得安装一个Nginx,安装方法采用yum安装,yum源:http://mirrors.aliyun.com/epel/epel-release-latest-6.noarch.rpm 下面的所有操作都在linux-node2上操作 [root@linux-node2 ~]# rpm -vh…