ELK背景介绍1

一.elasticsearch背景介绍

1.问题引入:搜索所有天安门相关的内容,大数据量的判断,加索引orm,歌词怎么做?等等问题,大公司上亿条数据怎样开发处理日志?

2.ELK框架,目前先学习E(elasticsearch)

3.Apache是http服务器,美国人发明的,Apache火起来之后,产生了雅加达系列项目,其中就有Tomcat,雅加达目前停止了,原因是子项目都独立出来了.

4.雅加达独立出来的项目,Tomcat,lucene,elasticsearch就是将lucene封装了一层.

5.lucene可以被认为是迄今为止最先进,性能最好,功能最全的搜索引擎库,可惜只是一个库,比较复杂

6.因此我们需要安装java的jdk虚拟机等等

7.elasticsearch天生就是分布式的搜索引擎.,接近实时的搜索

8.有了分布式必然就有高可用,原因是存储的数据量比较大,需要备份数据

9.elasticsearch的缺点:(1)不支持事物(2)相对吃内存

原因:lucene吃内存,所以elasticsearch吃内存.

10.elasticsearch主要用途:做搜索

(1)分布式的实时文件存储,每个字段都被索引并可被搜索

(2)分布式的实时分析搜索引擎

(3)可以扩展到上百台服务器,处理PB级结构化或非结构化数据(文件存储)

11.接口当然选择python

12.开发人Shay Banon,这个elasticsearch天生就是处在高性能和存储数据网格的分布式环境中,因此天生高性能,实时,分布式

13.elasticsearch最早出来是在2010年2月,开源的

14.云计算市场亚马逊,微软,阿里云(打包产品)

15.mongodb是面向文档型的数据库,elasticsearch也是面向文档型的,

文档型的优点:搜索快.没有表关系,与实体相关的都写在文档中,一篇文档就是一个实体.

因为是文档可以是多层次的,文档鼓励你属于一个逻辑实体的数据保存在同一个文档中

mysql优化:少做连表查询

16.百度上解释elasticsearch是一个基于Lucene的搜索服务器.

17.应用案例:苏宁,github,维基百科,苏宁,腾讯PB级别100W/S,字节跳动,站内检索,百度就是,日志分析比较多

18.框架自动处理,主要核心es存储数据分析数据,logstash导入数据,kibana用于查询(图形可视化)

19.主要学习核心:elasticsearch,搜索

20.一个lucene索引也就是一个(elasticsearch)分片,不能处理多于21亿篇文档,或者多于2740亿的唯一词条,超过我们就没有磁盘了.

21.学习外国语言的最好办法就是有个外国的女朋友

二.kibana背景介绍

1.kibana是一个为elasticsearch提供的数据分析的web接口,可使用它对日志进行高效的搜索,可视化,分析等各种操作.