ELK与我

我在2017年8月份第一次听说ELK并搭建了一次，当时看到KIBANA页面超级炫酷非常激动。现在已经过去了四个月了，现在的情况不像刚开始哪有无知了。现在是要应用到实际的项目中。首先说一下整个ELK的社区非常全面，使用Logstash的各种插件可以扩展得非常强大。构建日志监控分析，用户行为分析，服务异常邮件告警等等。我今天写这篇文章也是为了督促自己尽快拿下ELK，我上周面试的时候就被考了index与type的区别及作用，当时很尴尬因为曾以为搭建过ELK就可以在简历上写有ELK相关经验了。还有一个问题是问了logstash的配置分成几个模块，我也只是说三种(input/filter/output)。面试官说你肯定吗？我说是的。现在回过头看了看标准文档里面还包括了codec。不懂其实不可怕，可怕的是自己假装懂，那就很可怕了。

如何开始ELK的世界

你需要安装它并且玩弄它，在这个计算机网络时代，只有自己动手去折腾才有收获。下载ELK到本地就可以解压运行了，具体安装方式不在这里讲。进入ELK其实最好的方式直接阅读官方文档，写得非常好。不过有些教程在更新方面可能会有些延迟导致我刚开始遵规遵据的学习遇到了很多问题。不过现在都还好了，今晚上全面更新了ELK三个组件到6.0版本也是11月份发布的最新版本。

ELK的常见坑

  • ELK三个组件的安装版本不一致会导致它们之间无法通讯；
  • ELK的Graphs很有意思，但是需要对数据的类型进行特别设置fielddata 要设置为true
  • Index Patter 在生成的时候注意timestamp不要随便勾选，除非充分理解其作用。
  • 配置X-Pack组件，需要给Kibana配置一个用户，为了使用Dev的一些功能，这个用户最好是有较高权限的。

具体在Mac上的安装如下

  • 1.下载ElasticSearch、Kibana、Logstash最新版本；
  • 2.给ElasticSearch安装X-pack
  • 3.脚本自动重置用户密码bin/x-pack/setup-passwords auto (注意这个是ElasticSearch)里面的x-pack
  • 4.给Kibana安装X-pack
  • 5.配置Kibana访问ElasticSearch的用户（将重置终端打印出来的用户名密码配置拷贝到Kibana的config/kibana.yml中
  • 6.重启

ELK 起航的更多相关文章

  1. ELK日志系统：Filebeat使用及Kibana如何设置登录认证

    根据elastic上的说法: Filebeat is a lightweight, open source shipper for log file data. As the next-generat ...

  2. 5分钟部署ELK+filebeat5.1.1

    标题有点噱头,不过网络环境好的情况下也差不多了^_^   1. 首先保证安装了jdk.   elasticsearch, logstash, kibana,filebeat都可以通过yum安装,这里前 ...

  3. 大数据平台架构（flume＋kafka＋hbase＋ELK+storm+redis+mysql）

    上次实现了flume+kafka+hbase+ELK:http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5 ...

  4. ELK+Kafka集群日志分析系统

    ELK+Kafka集群分析系统部署 因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部 ...

  5. 第三十章 elk（1） - 第一种架构（最简架构）

    软件版本: es:2.4.0 logstash:2.4.0 kibana:4.6.1 一.logstash安装(收集.过滤日志.构建索引) 1.下载:https://www.elastic.co/do ...

  6. #研发解决方案#基于Apriori算法的Nginx+Lua+ELK异常流量拦截方案

    郑昀 基于杨海波的设计文档 创建于2015/8/13 最后更新于2015/8/25 关键词:异常流量.rate limiting.Nginx.Apriori.频繁项集.先验算法.Lua.ELK 本文档 ...

  7. ELK+redis搭建nginx日志分析平台

    ELK+redis搭建nginx日志分析平台发表于 2015-08-19   |   分类于 Linux/Unix   |  ELK简介ELKStack即Elasticsearch + Logstas ...

  8. ELK日志系统：Elasticsearch + Logstash + Kibana 搭建教程

    环境:OS X 10.10.5 + JDK 1.8 步骤: 一.下载ELK的三大组件 Elasticsearch下载地址: https://www.elastic.co/downloads/elast ...

  9. elk系列4之kibana图形化操作

    preface 我们都搭建了ELK系统,且日志也能够正常收集的时候,那么就配置下kibana.我们可以通过kibana配置柱状图,趋势图,统计图,圆饼图等等各类图.下面就拿配置统计图和柱状图为例,结合 ...

随机推荐

  1. C# 应用程序单例（禁止多开） 获取.net版本号 以及 管理员权限

    Mutex不仅提供跨线程的服务,还提供跨进程的服务.当在构造函数中为Mutex指定名称时,则会创建一个命名了的Mutex.其他线程创建Mutex时,如果指定的名称相同,则返回同一个互斥体,不论该线程位 ...

  2. php不用正则表达式实现身份证号验证详解

    写了一个身份证号验证类,php小白,写的不好,欢迎各位大神给我多提意见和建议 身份证号分为四部分,第一部分是前6位为地址码,7-14位是出生日期,15-17位是同一地方同一天出生的男孩为奇数,女孩是偶 ...

  3. 前端车牌识别SDK算法提取

    同行业中,别人标配有的产品我有,别人没有的产品我们也有,如此才能增强竞争力,通过优化创新,前端车牌识别SDK功能,性能上,都是行业NO.1的水平.车牌识别sdk这个用于越来越多人集成了,汽车保有量日益 ...

  4. SQL-56 获取所有员工的emp_no、部门编号dept_no以及对应的bonus类型btype和recevied，没有分配具体的员工不显示

    获取所有员工的emp_no.部门编号dept_no以及对应的bonus类型btype和recevied,没有分配具体的员工不显示CREATE TABLE `dept_emp` ( `emp_no` i ...

  5. 5、AngularJS 直接绑定显示html （$sce、$sanitize服务）

    1.直接使用$sce服务(angularjs中:$sce.trustAsHtml($scope.snippet).html:ng-bind-html="snippet") 以下代码 ...

  6. 【转】Linux的nm查看动态库和静态库的符号

    转自https://blog.csdn.net/qq_16683355/article/details/52297884 功能 列出.o..a..so中的符号信息,包括符号的值,符号类型及符号名称等. ...

  7. git pull提交代码遇到的问题

    git pull 提示如下错误 解决方法: git pull 后面加上分支具体地址  比如:git pull origin daily/1.0.0 同样git push origin daily/1. ...

  8. git撤销merging

    $ git pull origin test // git pull合并代码的时候,若发生冲突,会处于merging状态,检查代码,发现自己的分支低于主分支,这个时候想撤销merge // 撤销mer ...

  9. NPOI处理Word文本中段落编号

    NPOI的XWPFParagraph对象中,是无法直接读取段落编号的,然而可以读取的是编号的样式名称(GetNumFmt),编号分组ID(GetNumID),编号样式(NumLevelText)等.具 ...

  10. hadoop2.6.0高可靠及yarn 高可靠搭建

    以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP ...