使用elk转存储日志

ELK指的是由Elastic公司提供的三个开源组件Elasticsearch、Logstash和Kibana。

　　Logstash：开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。）

　　Elasticsearch：一个分布式的 RESTful 风格的搜索和数据分析引擎。

　　Kibana：能够可视化 Elasticsearch 中的数据并操作 Elastic Stack（ELK Stack从5.x开始称作Elastic Stack）

本文介绍ELK在win10 64ibit系统下的安装和简单配置，更多信息见：

　　Elastic官网

　　官方文档

　　elasticsearch中文文档

注：ELK6.x需要java 8，不支持java 9

Logstash安装：

　　下载地址：https://www.elastic.co/cn/downloads/logstash

　　下载zip文件并解压文件到你的磁盘中，接下来让我们来验证安装是否正确。通过cmd切换到安装目录下，运行一个最基础的logstash pipeline：

输入logstash -e "" 之后， 稍等片刻，logstash开始启动。在信息的末尾会出现如下提示：

我们输入“hello”后键入回车键，会发现控制台信息更新，内容如下。

看到这里，我们的安装就成功了。

logstash命令行支持两种方式加载配置项

logstash -e

　　logstash -e "" 等同于 logstash -e "input {stdin {}} output {stdout { codec => rubydebug }}"

logstash -f 

　　加载指定配置文件，启动logstash，如 H:\elk\logstash-6.1.1\bin>logstash -f ../logstash-test.conf

更多配置，使用logstash -f 或logstash -f或者logstash --help查看。

logstash pipeline有两个必备元素,input and output,还有一个可选元素filter.通过input插件载入数据，filter插件按照指定修改数据，最后使用output将数据输出在指定的位置。

下面是一个简单的logstash.conf示例，将指定目录下符合匹配规则的文件，转存储到elasticsearch ：

input {
　　file {
　　　　path =>["D:/logs/**/*.log*","D:/logs/**/*.log"]#指定输入文件路径，支持数组
　　　　#add_field => {"test"=>"test"} #添加自定义字段
　　　　#tags => "tag1" #标签
　　　　#exclude => "xxx.log" #排除文件
　　　　start_position => "beginning" #监听文件的起始位置
　　　　sincedb_path => "NUL" #logstash默认是增量读取的，此项配置表示文件读取进度的记录。在window下值为"NUL",linux下为"/dev/null"时，表示每次都从头开始读取文件，在正式环境中一定要关闭 

　　　　codec => multiline { 
　　　　　　pattern => "^\[" #正则匹配条件，作为判断是否和前一行合并的依据
　　　　　　negate => true #boolean类型，设置正向匹配还是反向匹配，默认是false，可选
　　　　　　what => "previous" #设置未匹配的内容是向前合并还是向后合并，previous, next 两个值选择，必选
　　　　} 
　　} 
} 
output { 
　　elasticsearch { 
　　　　hosts => "localhost:9200" #指定转存储目标，我们使用的是elasticsearch
　　} 
}

好吧，我们的elasticsearch还没有安装接下来我们下载并安装elasticsearch，kibana。

各自解压后进入elasticsearch的config目录，修改elasticsearch.yml，放开network.host的注释，指定一个ip以通知其他应用。我这里设置成0.0.0.0。
修改kibana下的kibana.yml,设置elasticsearch.url为"http://localhost:9200"。
依次启动elasticsearch,kibana,然后使用上面的配置文件启动logstash

访问http://localhost:5601

使用discover，可以看到message中可以看到包含多行日志的message。