使用logstash+elasticsearch+kibana快速搭建日志平台
日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有: * 根据关键字查询日志详情
* 监控系统的运行状况
* 统计分析，比如接口的调用次数、执行时间、成功率等
* 异常数据自动触发消息通知
* 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: * 开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力
* 日志数据分散在多个系统，难以查找
* 日志数据量大，查询速度慢
* 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
* 数据不够实时 常见的一些重量级的开源Trace系统有 * [facebook scribe](https://github.com/facebook/scribe)
* [cloudera flume](https://github.com/cloudera/flume)
* [twitter zipkin](http://twitter.github.io/zipkin)
* [storm](http://storm-project.net) 这些项目功能强大，但对于很多团队来说过于复杂，配置和部署比较麻烦，在系统规模大到一定程度前推荐轻量级下载即用的方案，比如logstash+elasticsearch+kibana(LEK)组合。 对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。 logstash
===  [logstash主页](http://logstash.net) logstash部署简单，下载一个jar就可以用了，对日志的处理逻辑也很简单，就是一个pipeline的过程 inputs >> codecs >> filters >> outputs 对应的插件有  从上面可以看到logstash支持常见的日志类型，与其他监控系统的整合也很方便，可以将数据输出到zabbix、nagios、email等。 推荐用redis作为输入缓冲队列。 你还可以把数据统计后输出到graphite，实现统计数据的可视化显示。 [metrics demo](http://cookbook.logstash.net/recipes/statsd-metrics)
[statsd](https://github.com/etsy/statsd)
[graphite](http://graphite.wikidot.com) 参考文档 * [cookbook](http://cookbook.logstash.net)
* [doc](http://logstash.net/docs/1.2.1)
* [demo](http://demo.logstash.net) elasticsearch
===  [elasticsearch主页](http://www.elasticsearch.org) elasticsearch是基于lucene的开源搜索引擎，近年来发展比较快，主要的特点有 * real time
* distributed
* high availability
* document oriented
* schema free
* restful api elasticsearch的详细介绍以后再写，常用的一些资源如下 中文
--- smartcn, ES默认的中文分词
https://github.com/elasticsearch/elasticsearch-analysis-smartcn mmseg
https://github.com/medcl/elasticsearch-analysis-mmseg ik
https://github.com/medcl/elasticsearch-analysis-ik pinyin, 拼音分词，可用于输入拼音提示中文
https://github.com/medcl/elasticsearch-analysis-pinyin stconvert, 中文简繁体互换
https://github.com/medcl/elasticsearch-analysis-stconvert 常用插件
--- elasticsearch-servicewrapper，用Java Service Wrapper对elasticsearch做的一个封装
https://github.com/elasticsearch/elasticsearch-servicewrapper Elastic HQ，elasticsearch的监控工具
http://www.elastichq.org elasticsearch-rtf，针对中文集成了相关插件(rtf = Ready To Fly)
https://github.com/medcl/elasticsearch-rtf
[作者主页](http://log.medcl.net) kibana
===  [kibana主页](http://kibana.org) kibana是一个功能强大的elasticsearch数据显示客户端，logstash已经内置了kibana，你也可以单独部署kibana，最新版的kibana3是纯html+js客户端，可以很方便的部署到Apache、Nginx等Http服务器。 kibana3的地址: https://github.com/elasticsearch/kibana
kibana2的地址: https://github.com/rashidkpc/Kibana
kibana3 demo地址: http://demo.kibana.org 从demo可以先看一下kibana的一些基本功能 图表  数据表格，可以自定义哪些列显示以及显示顺序  可以看到实际执行的查询语句  新加一行  新加panel，可以看到支持的panel类型  加一个饼图  用地图显示统计结果  按照http response code来统计  丰富的查询语法  安装部署
=== 下面列一下一个简易LEK体验环境的搭建步骤 安装jdk 1.7
--- [oracle java主页](http://www.oracle.com/technetwork/java) 省略安装过程，推荐1.7+版本 java -version 设置java的环境变量，比如 sudo vim ~/.bashrc >>
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
>> source ~/.bashrc 安装redis
--- [redis主页](http://redis.io) cd ~/src
wget http://download.redis.io/releases/redis-2.6.16.tar.gz
tar -zxf redis-2.6.16.tar.gz
cd redis-2.6.16
make
sudo make install 可以通过redis源代码里utils/install_server下的脚本简化配置工作 cd utils
sudo ./install_server.sh install_server.sh在问你几个问题后会把redis安装为开机启动的服务，可以通过下面的命令行来启动/停止服务 sudo /etc/init.d/redis_ start/end 启动redis客户端来验证安装 redis-cli
> keys * 安装Elasticsearch
---- [Elasticsearch主页](http://www.elasticsearch.org) cd /search
sudo mkdir elasticsearch
cd elasticsearch
sudo wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip
sudo unzip elasticsearch-0.90.5.zip elasticsearch解压即可使用非常方便，接下来我们看一下效果，首先启动ES服务，切换到elasticsearch目录，运行bin下的elasticsearch cd /search/elasticsearch/elasticsearch-0.90.5
bin/elasticsearch -f 访问默认的9200端口 curl -X GET http://localhost:9200 安装logstash
--- [logstash主页](http://logstash.net) cd /search
sudo mkdir logstash
cd logstash
sudo wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar logstash下载即可使用，命令行参数可以参考[logstash flags](http://logstash.net/docs/1.2.1/flags)，主要有 agent #运行Agent模式
-f CONFIGFILE #指定配置文件 web #自动Web服务
-p PORT #指定端口，默认9292 安装kibana
--- logstash的最新版已经内置kibana，你也可以单独部署kibana。kibana3是纯粹JavaScript+html的客户端，所以可以部署到任意http服务器上。 cd /search
sudo mkdir kibana
sudo wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip
sudo unzip kibana-latest.zip
sudo cp -r kibana-latest /var/www/html 可以修改config.js来配置elasticsearch的地址和索引。 用浏览器访问试试看 http://127.0.0.1/html/kibana-latest/index.html 集成
--- 把上面的系统集成起来 首先把redis和elasticsearch都启动起来 为logstash新建一个配置文件 cd /search/logstash
sudo vi redis.conf 配置文件内容如下 input {
redis {
host => "127.0.0.1"
port => "6379"
key => "logstash:demo"
data_type => "list"
codec => "json"
type => "logstash-redis-demo"
tags => ["logstashdemo"]
}
} output {
elasticsearch {
host => "127.0.0.1"
} } 用这个配置文件启动logstash agent java -jar /search/logstash/logstash-1.2.1-flatjar.jar agent -f /search/logstash/redis.conf & 启动logstash内置的web java -jar /search/logstash/logstash-1.2.1-flatjar.jar web & 查看web，应该还没有数据 http://127.0.0.1:9292 在redis 加一条数据 RPUSH logstash:demo "{\"time\": \"2013-01-01T01:23:55\", \"message\": \"logstash demo message\"}" 看看elasticsearch中的索引现状 curl 127.0.0.1:9200/_search?pretty=true curl -s http://127.0.0.1:9200/_status?pretty=true | grep logstash 再通过logstash web查询一下看看 http://127.0.0.1:9292 通过单独的kibana界面查看 http://127.0.0.1/html/kibana-latest/index.html#/dashboard/file/logstash.json 数据清理
=== logstash默认按天创建ES索引，这样的好处是删除历史数据时直接删掉整个索引就可以了，方便快速。 elasticsearch也可以设置每个文档的ttl(time to live)，相当于设置文档的过期时间，但相比删除整个索引要耗费更多的IO操作。 索引
=== elasticsearch默认会按照分隔符对字段拆分，日志有些字段不要分词，比如url，可以为这类字段设置not_analyzed属性。 设置multi-field-type属性可以将字段映射到其他类型。[multi-field-type](http://www.elasticsearch.org/guide/reference/mapping/multi-field-type)。 大量日志导入时用[bulk方式](http://www.elasticsearch.org/guide/reference/api/bulk.html)。 对于日志查询来说，filter比query更快 过滤器里不会执行评分而且可以被自动缓存。[query-dsl](http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html)。 elasticsearch默认一个索引操作会在所有分片都完成对文档的索引后才返回，你可以把复制设置为异步来加快批量日志的导入。 elasticsearch 优化
=== 优化JVM
优化系统可以打开最大文件描述符的数量
适当增加索引刷新的间隔 最佳实践
=== * 首先你的程序要写日志
* 记录的日志要能帮助你分析问题，只记录"参数错误"这样的日志对解决问题毫无帮助
* 不要依赖异常，异常只处理你没考虑到的地方
* 要记录一些关键的参数，比如发生时间、执行时间、日志来源、输入参数、输出参数、错误码、异常堆栈信息等
* 要记录sessionid、transitionid、userid等帮你快速定位以及能把各个系统的日志串联起来的关键参数
* 推荐纯文本+json格式
* 使用队列 其他日志辅助工具
==== * [rsyslog](http://www.rsyslog.com)
* [syslog-ng](http://www.balabit.com/network-security/syslog-ng)
* [graylog](http://graylog2.org)
* [fluentd](http://fluentd.org)
* [nxlog](http://nxlog-ce.sourceforge.net)
使用logstash+elasticsearch+kibana快速搭建日志平台的更多相关文章
- logstash+elasticsearch+kibana快速搭建日志平台
使用logstash+elasticsearch+kibana快速搭建日志平台 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日 ...
- 【转载】使用logstash+elasticsearch+kibana快速搭建日志平台
原文链接:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地 ...
- Nginx filebeat+logstash+Elasticsearch+kibana实现nginx日志图形化展示
filebeat+logstash+Elasticsearch+kibana实现nginx日志图形化展示 by:授客 QQ:1033553122 测试环境 Win7 64 CentOS-7- ...
- ELK快速搭建日志平台
1. 抛砖引入 <Elasticsearch> <Logstash> <Filebeat> <Filebeat模块与配置> <Kibana> ...
- filebeat -> logstash -> elasticsearch -> kibana ELK 日志收集搭建
Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考http://blo ...
- spring mvc+ELK从头开始搭建日志平台
最近由于之前协助前公司做了点力所能及的事情,居然收到了一份贵重的端午礼物,是给我女儿的一个乐高积木,整个有7大包物件,我花了接近一天的时间一砖一瓦的组织起来,虽然很辛苦但是能够从过程中体验到乐趣.这次 ...
- logstash+ElasticSearch+Kibana VS Splunk
logstash+ElasticSearch+Kibana VS Splunk 最近帮磊哥移植一套开源的日志管理软件,替代Splunk． Splunk是一个功能强大的日志管理工具,它不仅可以用多种方式 ...
- logstash+es+kibana+redis搭建
环境信息: CentOS 6.5 redis 3.0.4 logstash elasticsearch kibana 服务端ip:192.168.0.65 客户端ip:192.168.0.66 关系结 ...
- 安装logstash,elasticsearch,kibana三件套
logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档, ...
随机推荐
- Android Design Support Library——TabLayout
TabLayout——选项卡布局,通过选项卡的方式切换view并不是material design中才有的新概念,选项卡既可以固定,也可以滚动显示效果如下: 通过addTab方法可以实现选项卡的动态添 ...
- SQL2012数据库加密方法
1.非对称密钥来保护新的对称密钥 /*--测试环境 Microsoft SQL Server 2012 (SP1) - 11.0.3000.0 (X64) Oct 19 2012 13:38:57 C ...
- 史上最全的MSSQL复习笔记 (转连接)
http://www.cnblogs.com/gameworld/p/4790881.html
- centos7 拨号之后添加路由
问题:拨号主机再自动拨号(/sbin/ifdown ppp0;/sbin/ifup ppp0)之后,无法上网(没有添加路由) 思路:在拨号程序中添加路由代码 vim /sbin/ifup { slee ...
- Android 开发之Windows环境下Android Studio安装和使用教程(图文详细步骤)
鉴于谷歌最新推出的Android Studio备受开发者的推崇,所以也跟着体验一下. 一.介绍Android Studio Android Studio 是一个Android开发环境,基于Intel ...
- SQL优化法则小记
SQL优化技巧 1.选择最有效率的表名顺序(只在基于规则的优化器中有效): oracle的解析器按照从右到左的顺序处理 from 子句中的表名,from子句中写在最后的表(基础表 driving ta ...
- 对于这个函数const int func（const int& a） const声明中，三个const分别是什么意思？
第一个const 函数的返回值类型是const. 这个const修饰没什么意义,你可以想象一下: 既然是函数的 返回值,而且是值传递的形式,是否const有什么意义.如果指针(引用)传递,怎表示返回值 ...
- 为TFS配置跨平台的生成服务器Xplat (Ubuntu Linux)
1. 概述 从TFS 2015开始,微软开始支持跨平台的构建代理.你可以使用TFS的Xplat代理,方便的在基于IOS, Unix和Linux的服务器上搭建生成代理,实现构建.发布等功能.本文档已Ub ...
- dipole antenna simulation by CST
CST偶极子天线仿真,半波振子天线 一.本文使用CST仿真频率为1GHz的偶极子天线,使用2013版本.仿真的步骤为 1.选择一个CST的天线工程模板 2.设置好默认的单位 3.设置背景的材料(空气腔 ...
- Linux的交叉编译 及configure配置
这两天需要把一个CDVS的工程代码从Linux 平台上移植到ARM平台上,花了两天才搞定,之前很早申请的博客,到现在还没有技术文章会,以后决定凡是花两三天才搞定的东西都会把解决过程发到这里,很多东西靠 ...