Apache Kylin v3.0.0-alpha 发布

Apache Kylin v3.0.0-alpha 发布

Apr 19, 2019 • Shaofeng Shi

近日 Apache Kylin 社区很高兴地宣布，Apache Kylin v3.0.0-alpha 正式发布。

Apache Kylin 是一个开源的分布式分析引擎，旨在为极大数据集提供 SQL 接口和多维分析（OLAP）的能力。

这是 Kylin 下一代 v3.x 的第一个发布版本，用于早期预览，主要的功能是实时 （Real-time） OLAP。完整的改动列表请参见release notes；这里挑一些主要改进做说明。

重要新功能

KYLIN-3654 - 实时 OLAP

随着引入新的 real-time receiver 和 coordinator 组件，Kylin 能够实现毫秒级别的数据准备延迟，数据源来自流式数据如 Apache Kafka。这意味着，从 v3.0 开始，Kylin 既能够支持历史批量数据的 OLAP，也支持对流式数据的准实时（Near real-time）以及完全实时(real-time)分析。用户可以使用一个 OLAP 平台来服务不同的使用场景。此方案已经在早期用户如 eBay 得到部署和验证。关于如何使用此功能，请参考此教程。

KYLIN-3795 - 通过 Apache Livy 递交 Spark 任务

这个功能允许管理员为 Kylin 配置使用 Apache Livy (incubating) 来完成任务的递交。Spark 作业的提交通过 Livy 的 REST API 来提交，而无需在本地启动 Spark Driver 进程，从而方便对 Spark 资源的管理监控，同时也降低对 Kylin 任务进程所在节点的压力。

KYLIN-3820 - 基于 Curator 的任务节点分配和服务发现

新增一种基于Apache Zookeeper 和 Curator作业调度器，可以自动发现 Kylin 节点，并自动分配一个节点来进行任务的管理以及故障恢复。有了这个功能后，管理员可以更加容易地部署和扩展 Kylin 节点，而不再需要在 kylin.properties 中配置每个 Kylin 节点的地址并重启 Kylin 以使之生效。

其它改进

KYLIN-3716 - FastThreadLocal 替换 ThreadLocal

使用 Netty 中的 FastThreadLocal 替代 JDK 原生的 ThreadLocal，可以一定程度上提升 Kylin 在高并发下的性能。

KYLIN-3867 - Enable JDBC to use key store & trust store for https connection

通过使用HTTPS，保护了JDBC使用的身份验证信息，使得Kylin更加安全

KYLIN-3905 - Enable shrunken dictionary default

默认开启 shrunken dictionary，针对高基维进行精确去重的场景，可以显著减少构建用时。

KYLIN-3839 - Storage clean up after the refreshing and deleting a segment

更加及时地清除不必要的数据文件

下载

要下载Apache Kylin 源代码或二进制包，请访问下载页面 page.

升级

参考升级指南.

反馈

如果您遇到问题或疑问，请发送邮件至 Apache Kylin dev 或 user 邮件列表：dev@kylin.apache.org，user@kylin.apache.org; 在发送之前，请确保您已通过发送电子邮件至 dev-subscribe@kylin.apache.org 或 user-subscribe@kylin.apache.org 订阅了邮件列表。

非常感谢所有贡献Apache Kylin的朋友!