该篇内容由个人博客点击跳转同步更新!转载请注明出处!

前言

ELK是什么

它是一个分布式日志解决方案,是Logstash、Elastaicsearch、Kibana的缩写,可用于从不同的服务中收集日志后进行处理和分析,通过Kibana可以全方面的展示收集后的信息,比如通过图表或者表格形式。

能用来做什么

(一)ELK组件在海量日志系统的运维中,可用于解决:

  • 分布式日志数据集中式查询和管理
  • 系统监控,包含系统硬件和应用各个组件的监控
  • 故障排查
  • 安全信息和事件管理
  • 报表功能

    (二)ELK组件在大数据运维系统中,主要可解决的问题如下:
  • 日志查询,问题排查,上线检查
  • 服务器监控,应用监控,错误报警,Bug管理
  • 性能分析,用户行为分析,安全漏洞分析,时间管理

安装前准备

我的系统环境是CentOS Linux release 7.6.1810 (Core)

  1. 安装GIT(用于下载下文提到的GITHUB项目,你也可以用curl,但项目更新比较快用GIT方便更新)
  2. 安装Docker(下面项目将部署到Docker中)
  3. 安装Docker-Compose(文章会用DC进行服务构建)

    好了,万事具备,只欠东风。

懒人安装

ELK的安装比较繁琐,网上的教程也基本都是一个个下载之后再进行安装和配置。逛了一圈gayhub找到了docker安装部署的懒人方式这是项目地址

首先在你的根目录新建一个文件夹就叫elk,然后通过GIT命令下载项目到该目录下,进入到该目录下你可以看到这样的目录结构

[root@localhost docker-elk]# ls
docker-compose.yml docker-stack.yml elasticsearch extensions filebeat kibana LICENSE logstash README.md

运行命令进行服务构建,记住一定要加个d,不然退出终端服务就停了,这个过程有点漫长,毕竟装的东西有点多

[root@localhost docker-elk]# docker-compose up -d

装完后他会默认打开以下这些端口

5000: Logstash TCP input(Logstash数据的接收通道)

9200: Elasticsearch HTTP(ES的http通道)

9300: Elasticsearch TCP transport(ES的TCP通道)

5601: Kibana(UI管理界面)

这几个服务对应的关系如下图,应用程序将日志推送给Logstash,然后放到ES进行存储,最后通过Kibana进行数据展示



当然了logstash也有很多对应的插件beats用来收集不同的日志,在高并发的情况下你也可以通过使用redis或者kafka作为中间件进行过渡,就像下面的架构图一样



在安装完成后我们用浏览器打开下面两个地址,这里会提示你输入用户名和密码:

user: elastic

password: changeme

这是默认的稍后和大家说下如何修改密码

  1. http://127.0.0.1:9200/ 打开可以看到ES的一些版本信息等

  2. http://127.0.0.1:5601/ 打开后就是Kibana的界面,如果ES没有启动完成的话会提示你未找到ES数据源



    好了,安装运行已经全部结束,是不是非常简单,比起网上那些长篇大论讲安装的,这里其实就两步:下载和运行dc文件

.NetCore使用Nlog进行日志收集

首先在你的项目中用Nuget安装以下两个类库

NLog.Extensions.Logging和NLog.Web.AspNetCore

然后新建NLog的配置文件Nlog.config,内容如下 :

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
autoReload="true"
internalLogLevel="Warn"
internalLogFile="internal-nlog.txt"> <extensions>
<add assembly="NLog.Web.AspNetCore"/>
</extensions >
<variable name="logDirectory" value="${basedir}\logs\"/>
<!--define various log targets-->
<targets>
<!--write logs to file-->
<!--address 填写Logstash数据的接收通道-->
<target xsi:type="Network"
name="elastic"
keepConnection="false"
address ="tcp://127.0.0.1:5000"
layout="${longdate}|${logger}|${uppercase:${level}}|${message} ${exception}" />
/>
<target xsi:type="Null" name="blackhole" />
</targets>
<rules>
<!--All logs, including from Microsoft-->
<logger name="*" minlevel="Trace" writeTo="allfile" />
<!--Skip Microsoft logs and so log only own logs-->
<logger name="Microsoft.*" minlevel="Trace" writeTo="blackhole" final="true" />
<logger name="*" minlevel="Trace" writeTo="elastic" />
</rules>
</nlog>

然后在Startup>Configure中引入Nlog

public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory)
{
LogManager.LoadConfiguration("Nlog.config");//引入配置文件
loggerFactory.AddNLog();//注入Nlog
}

接下来在自己项目是进行一个简单的测试

Logger log = NLog.LogManager.GetCurrentClassLogger();
log.Debug("测试日志内容");

Kibana中配置对刚才的日志进行分析

Kibana必须要先有数据后才能对数据进行展示,所以我们必须要有上面的测试数据,然后配置索引进行数据查看

登录进来后左边随机点一个菜单来到如下界面



点击Create index pattern来到如下界面,这里就是配置你要展现ES中哪个索引下的内容,这里nci-bids-log-2019xxx这是logstash生成的,你们的可能叫logstash-2019xxxx,我的索引在配置中被我重命名了一下方便区分项目



通过名称来进行模糊匹配,匹配规则貌似就是正则,匹配成功会提示如下信息,然后点击 Next-Step



这里让你选择一个时间字段,就选择@timestamp然后下一步结束创建,然后点击左边第一个菜单就能看到图表和详细信息了



其它的功能自己摸索吧

配置

ELK的配置文件都是以Volume的方式来挂载的,对应每个文件夹下面的Configs里面。

比如logstash的配置文件cd logstash/config下面的logstash.yml就是他的配置文件。

对了这里使用的版本需要密码是因为es使用了一个商业版,有效期是30天,如果不想使用这个的话可以去es的配置目录把xpack的配置改成如下就可以:

xpack.license.self_generated.type: basic
xpack.security.enabled: false
xpack.monitoring.collection.enabled: false

后面有空和大家再分享下通过kafka作为中间件的方式以及具体的一些配置内容

微信关注我哦!(转载注明出处)

懒人必备:.NetCore快速搭建ELK分布式日志中心的更多相关文章

  1. .NetCore快速搭建ELK分布式日志中心

    懒人必备:.NetCore快速搭建ELK分布式日志中心   该篇内容由个人博客点击跳转同步更新!转载请注明出处! 前言 ELK是什么 它是一个分布式日志解决方案,是Logstash.Elastaics ...

  2. 使用Docker快速搭建ELK环境

    今天由于Win系统的笔记本没带回家,其次Docker在非Linux系统下都需要安装额外的软件去镜像才行 所以感觉没有差别,先直接用Mac搭建一遍呢, 本篇部分命令和配置内容为摘抄 Mac下使用Dock ...

  3. ELK分布式日志收集搭建和使用

    大型系统分布式日志采集系统ELK全框架 SpringBootSecurity1.传统系统日志收集的问题2.Logstash操作工作原理3.分布式日志收集ELK原理4.Elasticsearch+Log ...

  4. ELK 分布式日志实战

    一.  ELK 分布式日志实战介绍 此实战方案以 Elk 5.5.2 版本为准,分布式日志将以下图分布进行安装部署以及配置. 当Elk需监控应用日志时,需在应用部署所在的服务器中,安装Filebeat ...

  5. 手把手教你搭建 ELK 实时日志分析平台

    本篇文章主要是手把手教你搭建 ELK 实时日志分析平台,那么,ELK 到底是什么呢? ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch.Logstash 和 Kiban ...

  6. 快速搭建ELK集中化日志管理平台

    由于我们的项目是分布式,服务分布于多个服务器上,每次查看日志都要登录不同服务器查看,而且查看起来还比较麻烦,老大让搭一个集中化日志管理的东西,然后就在网上找到了这个东西ELK ELK就是elastic ...

  7. ELK分布式日志+NLog在.NetCore中的应用

    一.ELK简介 ELK是Elasticsearch.Logstash和Kibana首字母的缩写.这三者均是开源软件,这三套开源工具组合起来形成了一套强大的集中式日志管理平台 Elasticsearch ...

  8. MySQL 数据库的tab 补全功能 (懒人必备)

    MySQL 数据库的tab补全功能                      跟着步骤走~~ 懒人养成第一步 不仅帮你补全 甚至预判你的预判,就问你可怕不可怕 1.安装相关依赖软件(需要配置yum官方 ...

  9. ELK+Kafka学习笔记之搭建ELK+Kafka日志收集系统集群

    0x00 概述 关于如何搭建ELK部分,请参考这篇文章,https://www.cnblogs.com/JetpropelledSnake/p/9893566.html. 该篇用户为非root,使用用 ...

随机推荐

  1. .Net Core2.2 WebApi上传文件

    基于.net core2.2的webapi程序,接收客户端上传的文件.按照以下写法,file的值永远是null [HttpPost] public void Post([FromForm] IForm ...

  2. Split函数的使用

    Split函数,用来返回一个下标从零开始的一维数组,如下举例说明 1.split(' '),''号中间是空格 def break_words(stuff):    """ ...

  3. Hadoop自学系列集(一) ---- 使用VMware安装CentOS

     1.概述 笔者的学习环境--在VMware虚拟机下安装四个CentOS系统(搭建Hadoop集群用),其中一个为Master,三个为Slave,Master作为Hadoop集群中的NameNode, ...

  4. 【WPF】大量Canvas转换为本地图片遇到的问题

    原文地址:https://www.cnblogs.com/younShieh   项目中遇到一个难题,需要将上百个没有显示出来的Canvas存储为图片保存在本地. 查阅资料后(百度一下)后得知保存为本 ...

  5. hdoj 3732 Ahui Writes Word (多重背包)

    之前在做背包的题目时看到了这道题,一看,大喜,这不是裸裸的01背包吗!!  然后华丽丽的超时,相信很多人也和我一样没有考虑到数据量的大小. 时隔多日,回过头来看这道题,依旧毫无头绪....不过相比之前 ...

  6. python多线程详解

    目录 python多线程详解 一.线程介绍 什么是线程 为什么要使用多线程 二.线程实现 threading模块 自定义线程 守护线程 主线程等待子线程结束 多线程共享全局变量 互斥锁 递归锁 信号量 ...

  7. 读JDK源码集合部分

    以前读过一遍JDK源码的集合部分,读完了一段时间后忘了,直到有一次面试简历上还写着读过JDK集合部分的源码,但面试官让我说说,感觉记得不是很清楚了,回答的也模模糊糊的,哎,老了记性越来越差了,所以再回 ...

  8. HTML第六章 盒子模型

    什么是盒子模型: (1)边框: (2)内边距: (3)外边距: (4)元素内容·: (5)背景色·: 边框: 属性: 颜色(border-color),粗细(border-width),样式(bord ...

  9. MySQL操作命令梳理(2)

    一.表操作 在mysql运维操作中会经常使用到alter这个修改表的命令,alter tables允许修改一个现有表的结构,比如增加或删除列.创造或消去索引.改变现有列的类型.或重新命名列或表本身,也 ...

  10. 【译】尝试使用Nullable Reference Types

    随着.NET Core 3.0 Preview 7的发布,C#8.0已被认为是“功能完整”的.这意味着它们的最大亮点Nullable Reference Types,在行为方面也被锁定在.NET Co ...