Kylo 入坑记

一、概述

Kylo，作为一个基于 Spark 和 NiFi 的开源数据湖编排框架，解决对数据湖获取、治理、感知和技术支持等诸多问题。Kylo 将数据湖的很多功能自动化，包括数据接入、准备、分析发现、Profiling 和管理等等。Kylo 提供了符合业务分析人员思路的 GUI 界面以及 IT 运营和数据科学等模块。

通过 Kylo 的 GUI 界面，业务人员可以按照他们关心的方式来操作数据，包括: 创建数 据源、定义数据加载、数据预处理、转换，发布到目标系统。因为不需要部署任何代码，也不需要依赖 IT 部门，业务人员做到了对项目的完全掌控，从而极大的减少了类似项目所需的时间。

对于有技术能力的数据科学家、数据管家及 IT 运营人员来说，Kylo 提供包括元数据管理、合适的数据加载及类似 Goolgle 的检索能力，可以为业务分析人员赋予不同的权限、提供随时可用的模板，帮助他们使用、监控并提升数据湖的服务 SLA。

虽然不是万灵丹(特别是对于那些拥有混乱无序数据湖的企业来说), Kylo 及类似 Kylo 的产品还是非常有意义的，因为它让技术人员和业务人员都能够操作大数据，填平了大数据技术与大数据使用之间的鸿沟。 业务人员可以更快的获得数据洞察，IT 人员则可以专注在工程及数据架构问题，而不是编写代码。

From zhuanlan.zhihu.com 为企业级的数据分析赋能: 基于开源数据湖管理系统Kylo的业务分析

二、安装

2.1 说明

官网：http://kylo.readthedocs.io/en/latest/installation/KyloSetupWizardDeploymentGuide.html

http://kylo.readthedocs.io/en/latest/installation/KyloManualDeploymentGuide.html

参考博文：http://www.treselle.com/blog/kylo-setup-for-data-lake-management/

2.2 历程

过程很艰辛！！！

不过也学习到了很多基础知识！

1. 由于官方仅仅提供 rpm 包，你可以尝试将 rpm 包转化成 deb 包，或者编译源码得到 rpm 和 deb 包。

2. 在安装过程中，尽量使用 offline 的方式。最好的方式就是先将软件下载下来，再根据脚本的指导去进行配置，也可以修改脚本进行自动化配置。

2.3 小结

如果你之前使用过 nifi 这一类的应用，那么上手 kylo 不是一件很难的事情。类似 nifi ，kylo 也提供了一个 ui 界面建立起用户与系统的交互。

相对于 nifi 使用 Processor 与外部服务建立起连接， Kylo 则选择了集成部分服务，使得自己更为壮大。

在安装 kylo 时，你被要求安装如下软件：

• Kylo Applications - /opt/kylo
• Java 8 - /opt/java/current
• NiFi - /opt/nifi/current
• ActiveMQ - /opt/activemq
• Elasticsearch - RPM installation default location
  
  还包括了：
• MySQL

不难看出，kylo 集成了 NiFi 实际上是对 NiFi 的扩展。集成 Elasticsearch 用于全文搜索，集成 ActiveMQ 用于消息通信（RPC）......

三、配置

3.1 配置文件

配置文件位置：

• kylo-services：/opt/kylo/kylo-services/conf
• kylo-ui：/opt/kylo/kylo-ui/conf

3.2 日志文件

日志文件位置：

• kylo-services：/var/log/kylo-services
• kylo-ui：/var/log/kylo-ui

3.3 Kylo 配置文件修改

配置文件一旦修改后，需要重启 Kylo 才能使得修改的配置生效。

这一点跟 nifi 一个尿性，重启后需要等待较长的一段时间，我实际体验大约是 10 分钟左右。

四、与 NiFi 的配合

4.0 kylo 中的 nifi

Kylo 通过 NiFi REST API 实现对 NiFi 的一些基本操作，

4.1 nifi 地址

nifi 的地址在 /opt/kylo/kylo-services/conf/application.properties 中进行修改

nifi.rest.host=192.168.203.12 # 千万注意，这里不能使用 localhost
nifi.rest.port=8080

4.2 遇到的异常

The Reporting task does not exist. A com.think big analytics.nifi.provenance.reporting.KyloProvenanceEvent Reporting Task needs to be RUNNING to process jobs in Kylo

问题原因：

The reporting task sends events about what is happening in NiFi back to Kylo for reporting。

from https://groups.google.com/forum/#!topic/kylo-community/dACLQHjniRU

解决方案：

http://kylo.readthedocs.io/en/latest/how-to-guides/NiFiKyloProvenanceReportingTask.html

此文在我的 Github Pages 上同步发布，地址为：Kylo 入坑记