ELK实践-Kibana定制化扩展

纵观任何一家大数据平台的技术架构，总少不了ElasticSearch；ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件，更绝的是提供了一套集数据采集与前端展现为一体的框架（即ELK）， 在我们的应用过程中，与ES集成的前端框架包含有Kibana、Grafana等系统，实际应用过程中，以Kibana框架为例，从系统易用性方面进行了一些定制扩展，具体扩展功能总结如下：

1、Kibana框架汉化

---

• kibana 没有支持多语言的语言包，在正式系统使用时，需要汉化，如下图：
• 

2、身份及数据权限集成

---

• 我们的大数据平台里面，使用了多种开源的前端框架来满足不同的应用，通过扩展开发一套通用的组件来实现各种开源框架与大数据平台的集成，包含与大数据平台系统的身份集成、数据权限集成、路由均衡等功能，示意图如下：
• 
• 框架集成后示意效果图如下：
• 

2、高级过滤扩展

---

• Kibana原生提供的搜索方式在需要多条件组合精确查询的情况下，比较难用，并且需要使用者对Query语法非常熟悉，提高了使用门槛，为了解决此问题，我们扩展了公共的高级过滤组件与Kibana集成（5.6以后的Kibana也带着了过滤，但使用起来还是不方便），如下图：
• 

主要特性如下：

• 支持索引上的任何字段进行匹配检索条件定义
• 根据索引字段类型不同，可选择的比较符不一样，例如：数字类型支持 >、>=、=、<、<= 等， 对于Text 或 KeyWord 类型支持：等于、包含操作。
• 支持 与、或、非的条件定义组合（有点太专业、有更好的名字建议没？）。
• 当索引上的字段过多，选择字段名比较麻烦，因此支持智能定位选择,如上图。
• 定义条件的过程中，比较值支持手工输入、智能帮助（如：如果字段是日期类型，比较值支持弹出日期选择。如果字段是关联类型，比如：城市，比较值支持配置弹出帮助选择等）
• 支持新增、复制条件组合、删除、禁用某行定义的条件。

定义好过滤条件，在使用的过程中，当前组合的查询条件会以标签的形式展现在列表顶端，如下图红框：

• 
• 为了方便在使用的过程中快速禁用或删除组合条件的某一项，支持在标签上直接删除或禁用该条件，如下图：当mouse悬浮在标签上时，用户可选择禁用或删除操作。
• 

3、查询方案

---

扩展后的方案按索引进行拆分（即只显示该索引下的方案），分为公共方案（开发人员预制）与私有方案（运行时、用户调整查询格式及查询条件后保存的方案），如下图：

• 
• 公用方案不允许修改或编辑，在与我们的框架集成后，用户运行时在公用方案基础上调整后的保存的方案自动会保存至私有方案分类，允许当前用户删除自己保存的方案，如下图：
• 

每套方案里面包含的内容

• 查询条件、时间范围
• 显示的数据列、每页数据条数、列顺序、表头是否固定等配置。

4、页面显示数据条数

---

• 将每页显示数据条数暴露在前端页面，允许用户在查询时修改当前页面展现数据量大小
• 后端配置界面进行扩展，允许开发人员配置条数枚举项，如下图：
• 
• 运行效果：
• 
• 注意：ES 索引 在查询时默认返回最大的数据条数是10000，如上图，当设置每页的条数超过10000时，需要修改ES索引的最大返回数据条数参数。

5、数据导出

---

• 主要是将查询结果导出为Excel文件，扩展的导出功能包含前端导出和后台导出两类。
• 前端导出：指快速导出当前页面显示的内容（一般指10000以内的小数据量）、后端导出指根据当前页面设置的条件、列显示顺序从后端将满足条件的数据导出为Excel（适用于超出 10000条大数据量导出），如下图：
• 

6、时序图隐藏与显示

---

• Kibana在运行时显示的时候，默认在顶部带着按时序的柱状统计图， 在有些场景的列表查询中，并不需要这块图形的显示，通过扩展，可以在后台配置，如下图：
• 
• 运行效果：见上面的一些图，都是没带着柱状统计图的。

7、菜单自定义配置

---

• 右上角的菜单允许用户自定义进行配置，如下图：
• 
• 运行效果：
• 
• 统计分析菜单说明：将该索引定义的Visualize方案通过配置的方式挂在统计分析菜单下，实现列表与图表结合更直观探索数据价值。

8、列选择智能检索

---

• 当索引的列达到几十甚至上百个列时，如下图，在设置显示列时查找非常不方便，扩展一种快速检索选择的方法
• 

9、显示列中文别名设置

---

• 扩展允许配置列显示别名，如下图：
• 

10、数据权限控制

---

• 数据权限：指不同的用户能看到的数据范围不一样，这里主要指与各自业务系统的权限集成。

11、表头固定

---

• 扩展通过设置如图红框内的锁图标，设置滚动翻页查看数据时，表头标题行是否固定。
• 

12、变量解析

---

• 设置列联查，在联查的地址中需要获取当前行数据的其它字段作为联查地址的参数，扩展如下图参数定义及解析
• 
• 运行效果：
• 

在扩展完善的过程中，后续会持续更新该文档，有了这些扩展的功能点，再开发一套报表是不是零编码的秒开呢？