因为工作需求,最近在搭建日志分析系统,这里主要搭建的是系统日志分析系统,即rsyslog+elk。

  因为目前仍为测试环境,这里说一下搭建的基础架构,后期上生产线再来更新最后的架构图,大佬们如果有什么见解欢迎指导。

这里主要总结一下搭建过程。

一.rsyslog

  rsyslog是如今大多数linux自带的日志收集,这里主要说一下rsyslog的简单配置。

  client端配置它只需要更改准备发送的日志以及在末尾加上Server端使用的协议和IP即可,例如:

#加入以下即可
*.* @10.144.100.32:

二.logstash配置

  logstash只需要将rsyslog收集起来并转发至elasticsearch即可,配置如下:

vi /etc/logstash.conf
input{
syslog{
type => "system-syslog"
port =>
host => "10.144.100.32"
}
} filter {
date {
match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
locale => "cn"
} } output{
elasticsearch {
hosts => ["10.24.180.19:9200"]
user => "elastic"
password=> ""
index => "blockchain-%{type}-%{+YYYY.MM.dd}"
codec => "json"
}
stdout { codec => json }
}
cd logstash-5.5./bin/
./logstash -f /etc/logstash.conf

三.Elasticsearch搭建

   elasticsearch搭建起来比较简单,直接在https://www.elastic.co/downloads/elasticsearch下载elasticsearch压缩包,解压下来。  

cd elasticsearch-5.5.1/bin/
./elasticsearch &

  本地浏览器访问http://localhost:9200

  注意:安装elasticsearch尽量先改一下内核参数和资源参数,我在阿里云上搭建的,默认的内核参数和资源参数可能会导致启动失败。

vim /etc/sysctl.conf
#修改或添加以下参数
fs.file-max=
vm.max_map_count = vim /etc/security/limits.conf
#修改或添加以下参数
* soft nofile
* hard nofile
* soft nproc
* hard nproc

  elasticsearch有几个比较推荐的插件,这里介绍一下head插件安装,并通过head插件介绍一下elasticsrach的一些基本概念。

  首先介绍一下head的安装,ES5.0之前head插件是直接可以通过elasticsearch-plugin install安装,5.0之后不可以直接插件安装,但依然是可以安装使用的。

  这里简单介绍下安装过程。

  首先,设置下ES同源访问策略:

vim elasticsearch-5.5./conf/elasticsearch.yml
#在末尾添加如下内容:
http.cors.enabled: true
http.cors.allow-origin: "*"

  然后,通过npm进行安装:

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start

  当然,elasticsearch如果直接暴露在外网上是非常危险的,这里安装一款x-pack插件,可将此端口设置账户密码。

cd elasticsearch-5.5./bin/
./ealsticseearch-plugin intsall x-pack

  安装完x-pack后,直接访问9200端口会提示输入账号和密码,这增加了elasticsearch的一些安全性,默认的账号密码是elastic:changeme,更改账号密码课通过调用restful

API

curl -XPUT -u elastic 'localhost:9200/_xpack/security/user/elastic/_password' -d '{
"password" : "elastic"
}'

四.Kibana搭建

  kibana是配合Elasticsearch一起使用的可视化分析平台,说白了就是更形象的表示Elasticsearch的结果。

vim kibana/config/kibana.yml
server.port:
server.host: 0.0.0.0
elasticsearch.url: "http://localhost:9200"
elasticsearch.username: "elastic"
elasticsearch.password: "changeme"

  本地浏览器输入localhost:5601即可

Rsyslog+ELK日志分析系统搭建总结1.0(测试环境)的更多相关文章

  1. Rsyslog+ELK日志分析系统

    转自:https://www.cnblogs.com/itworks/p/7272740.html Rsyslog+ELK日志分析系统搭建总结1.0(测试环境) 因为工作需求,最近在搭建日志分析系统, ...

  2. ELK日志分析系统搭建

    之前一段时间由于版本迭代任务紧,组内代码质量不尽如人意.接二连三的被测试提醒后台错误之后, 我们决定搭建一个后台日志分析系统, 经过几个方案比较后,选择的相对更简单的ELK方案. ELK 是Elast ...

  3. ELK日志分析系统搭建(转)

    摘要: 前段时间研究的Log4j+Kafka中,有人建议把Kafka收集到的日志存放于ES(ElasticSearch,一款基于Apache Lucene的开源分布式搜索引擎)中便于查找和分析,在研究 ...

  4. CentOs 7.3下ELK日志分析系统搭建

    系统环境 为了安装时不出错,建议选择这两者选择一样的版本,本文全部选择5.3版本. System: Centos release 7.3 Java: openjdk version "1.8 ...

  5. ELK日志分析系统搭建 windows

    1 分别下载elk包 下载地址 https://www.elastic.co/cn/downloads 2 将这三个解压到同一个目录下,便于管理 3 elasticsearch不需要修改配置 默认即可 ...

  6. 十分钟搭建和使用ELK日志分析系统

    前言 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为“十分钟搭建和使用ELK日志分析系统”听 ...

  7. Docker笔记(十):使用Docker来搭建一套ELK日志分析系统

    一段时间没关注ELK(elasticsearch —— 搜索引擎,可用于存储.索引日志, logstash —— 可用于日志传输.转换,kibana —— WebUI,将日志可视化),发现最新版已到7 ...

  8. 快速搭建ELK7.5版本的日志分析系统--搭建篇

    title: 快速搭建ELK7.5版本的日志分析系统--搭建篇 一.ELK安装部署 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic ...

  9. ELK日志分析系统简单部署

    1.传统日志分析系统: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...

随机推荐

  1. ZKEACMS 的两种发布方式

    前言 如果你还不知道ZKEACMS,不妨先了解一下. ASP.NET MVC 开源建站系统 ZKEACMS 推荐,从此网站“拼”起来 官方地址:http://www.zkea.net/zkeacms ...

  2. react-dnd使用介绍

    核心API 想要灵活使用,就先知道几个核心API DragSource 用于包装你需要拖动的组件,使组件能够被拖拽(make it draggable) DropTarget 用于包装接收拖拽元素的组 ...

  3. mysql基础操作学习笔记(一)

    1前期准备: SQL语言包涵以下4个部分: (1)数据定义语言(DDL):包括DROP, CREATE, ALTER等语句 (2)数据操纵语言(DML):包括INSERT, UPDATE, DELET ...

  4. ubuntu 16.04 安装opencv 2.4.13

    ubuntu 16.04 安装opencv 2.4.13 https://blog.csdn.net/u011557212/article/details/54706966?utm_source=it ...

  5. 进阶篇:4.2.6)DFMEA故障库的建立与积累

    本章目的:DFMEA故障库的建立与积累. 1.故障库的认知 故障库是一种数据库,只是这个数据库中储存的是故障模式,也就是失效模式. 从前文DFMEA章节的学习中,我们可以知道,DFMEA对不同层级的失 ...

  6. leetcode 44 字符匹配

    题意:s是空串或包含a-z字母: p为包含a-z字母或?或 * (其中*可以匹配任意字符串包括空串,?可以匹配任意字符). 思路: 1)特殊情况:当s为空串时,p为连续 * 时,则连续 * 的位置都为 ...

  7. BZOJ - 2741 分块维护最大连续异或和

    题意:给定\(a[l...r]\),多次询问区间\([l,r]\)中的最大连续异或和\(a_i⊕a_{i+1}⊕...⊕a_{j},l≤i≤j≤r\) 一眼过去认为是不可做的,但题目给出\(n=1.2 ...

  8. AXI协议(一)

    最近弄Zynq,不懂AXI协议Zynq很难玩儿的转.这些笔记主要攻克AXI中的一些难题. 所有的AXI4包含了5个不同的通道:     (1)读/写地址通道(Read/Write address ch ...

  9. 颠覆我的Thread.join()

    学而时习之,不亦说乎!                              --<论语> 为什么说是颠覆? 1)任何对象都可以作为锁对象,锁对象的行为都是一样的吗?之前我一直认为锁对 ...

  10. rabbitmq 消息确认

    消息确认主要用在接收方 如果接收方没有确认, broker可以重发,确保消息至少消息一次..