Dinky实时计算平台

前言：Apache Flink 作为新一代的实时计算框架已经被应用到各个行业与领域，其岂存在着应用的痛点比如 FlinkSQL 在线IDE、作业提交不友好、作业无监控报警等。很大程度上说，FlinkSQL 加快了 Flink 的应用推广，而开源项目 Dinky 改善了 Flink 的部分痛点问题来优化 FlinkSQL 应用体验。

概述：实时即未来，Dinky 为 Apache Flink 而生，让 Flink SQL 纵享丝滑，并致力于实时计算平台建设。Dinky 基于 Apache Flink 进行扩展 ，增强 Flink 的应用与体验，探索流式数仓。即站在巨人肩膀上创新与实践，Dinky 在未来批流一体的发展趋势下潜力无限。

由来：Dinky（原 Dlink）：

• Dinky 英译为 “ 小巧而精致的 ” ，最直观的表明了它的特征：轻量级但又具备复杂的大数据开发能力。
• 为 “ Data Integrate No Knotty ” 的首字母组合，英译 “ 数据整合不难 ”，寓意 “ 易于建设批流一体平台及应用 ”。
• 从 Dlink 改名为 Dinky 过渡平滑，更加形象的阐明了开源项目的目标，始终指引参与者们 “不忘初心，方得始终 ”。

演进历程：Dinky 开源一周年了

系统架构

---

特点：一个 开箱即用 、易扩展 ，以 Apache Flink 为基础，连接 OLAP 和 数据湖 等众多框架的 一站式 实时计算平台，致力于 流批一体 和 湖仓一体 的建设与实践。主要目标：

• 沉浸式 FlinkSQL 和 SQL 的数据开发平台： 自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
• 支持多版本的 FlinkSQL 作业各种提交方式： Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
• 支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
• 支持 FlinkSQL 语法增强： 兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
• 支持易扩展的 SQL 作业： ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
• 支持 FlinkCDC（Source 合并）整库实时入仓入湖
• 支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
• 支持 Flink 元数据、数据源元数据查询及管理
• 支持实时任务运维： 上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
• 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
• 支持易扩展的实时作业报警及报警组：钉钉、微信企业号、飞书、邮箱等
• 支持完全托管的 SavePoint/CheckPoint 启动及触发机制：最近一次、最早一次、指定一次等
• 支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等

优化Flink体验

---

1、沉浸式的 FlinkSQL IDE

• Apache Flink 提供了 sql-client，但 sql-client 仅作为一个 beta 的功能，难以被应用到生产中
• Dinky 提供了沉浸式的 FlinkSQL IDE 开发能力，提供了自动提示与补全、语法高亮、语句美化、语法校验和逻辑检查、调试预览结果、字段级血缘分析等专业的功能，使 FlinkSQL 的开发如同 SQL 开发一样舒适与简单

2、极易用的任务构建方式

• Flink 在构建 FlinkSQL Jar 任务时通常需要考虑依赖及版本的维护、代码的编写、繁琐的编译打包过程等。

• Dinky 将 FlinkSQL 任务的构建进行了极简，开发人员只需要专注 FlinkSQL 的口径书写，并且可以实时进行检查与调试，在任务提交的过程则是快速的自动化托管，以实现一个 FlinkSQL 语句可以在所有的执行模式与外部集群上随意切换。

• 对于 Dinky 来说，主要划分两类用户。一类是平台运维人员，该人员需要根据官网文档及自身的 Flink 知识储备来手动搭建稳定的 Dinky 运作环境，门槛较高；另一类是数据开发人员，该类人员只需熟悉 FlinkSQL 的语法与常见的应用场景，即可快速高效地进行 FlinkSQL 的开发与运维，达到易用的任务构建方式。这也是最符合企业生产团队的分工策略，平台和开发分离。

3、无侵入的部署模式

• 一些开源项目或自建平台通常需要绑死 Flink 集群或者侵入 Flink 的源码，容易 Flink 功能受限或在搭建和后续扩展时出现问题。

• Dinky 则是完全无侵入，可部署与各个集群之外，同时连接和监控多个集群。轻易地对接各个版本的 Flink 集群与公司内仓库分支优化过的 Flink 集群，完全兼容 Flink 自身的 connector、udf、cdc 等。

4、增强式的功能体验

• 一些开源项目及自建平台一般只专注于 Flink 任务的提交与运维。

• Dinky 则不同，为更舒适地使用 Flink 的相关功能进行的功能增强，如表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等，并且还在不断地扩展新的功能增强，以使 Flink 更贴近企业的需求。

5、实时的监控报警

• Dinky 提供实时的监控报警能力，实时守护已上线的流或批任务，在任务触发异常停止和成功完成时都会实时报警通知，并且记录了外部集群实时的任务信息，摆脱 History Server 的限制，弥补 deploy 的集群作业失败后信息难查询的不足，用户随时随地都可追溯历史作业的执行信息与异常。

6、一站式的开发运维

• Dinky 提供了一站式的开发运维能力，从 FlinkSQL 开发调试到作业上线下线的运维监控，再到数据源的 OLAP 及普通查询能力等，使得数仓建设或数据治理过程中所有的工作均可以在 Dinky 上完成。

7、易扩展的代码实现

• Dinky 非常注重代码的扩展能力，在源码中大量使用了 SPI 机制来支持用户低成本地自定义扩展新功能，比如数据源、报警方式、自定义语法等扩展。

• Dinky 的功能体验也十分注重扩展能力，在功能设计上尽可能地开放了最大的配置能力，如自定义提示与补全语法、自定义数据源的Flink 配置与生成规则、自定义全局变量、自定义Flink执行环境、自定义集群配置的各种配置项等等。

• Dinky 的外部对接也很注重扩展能力，基于 SpringBoot 的代码的高内聚和低耦合以及提供多种规范的 OpenAPI 使其可以很方便地扩展第三方生态、微服务或者平台。

8、小而美的产品形态

• 常规的大数据平台或者开源项目一般是十分庞大的，维护成本较高。

• 正如 Dinky 本名所释，小巧而精美，一直是开源项目建设的首要目标。小巧具体指易搭建、不绑定任何外部中间件或文件系统、代码简洁易维护；精美则指沉浸式的页面、经过打磨的各种功能等。

Next

---

1、多租户及命名空间

• Dinky 目前需要一个多租户的能力来分离业务数据及资源队列，需要命名空间来增强和规范代码业务逻辑的实现与扩展。

2、全局血缘与影响分析

• Dinky 目前需要将所有的字段级血缘进行存储，以构建全局的血缘和影响分析，方便用户更容易地追溯数据问题。

3、统一元数据管理

• Dinky 目前需要统一的元数据中心来管理外部数据源元数据，使其可以自动同步数据库物理模型与平台逻辑模型之间的结构，增强平台一站式的开发能力。

4、Flink 元数据持久化

• Dinky 目前需要持久化 Flink Catalog，使作业开发时不再需要编写 CREATE TABLE 等语句，转变为可视化的元数据管理功能。

5、多版本 Flink-Client Server

• Dinky 目前的 Flink 多版本支持需要启动多个不同版本的实例来支持。未来需要实现客户端与服务端分离，单独实现多版本的 Server。

6、整库同步

• 数据库的整库同步是一个常见的场景，Dinky 未来将提供一个简短的 FlinkSQL 实现整库同步任务构建的能力。

案例：

---

• Dinky 扩展 Flink Redis 的实践分享
• Dinky 实践系列之 Flink Catalog 元数据管理
• Dinky实践系列之FlinkCDC整库实时入仓入湖
• Dinky FlinkCDC 整库入仓 StarRocks
• 打造 Flink + StarRocks+ Dinky 的极速统一分析平台

参考

---

• http://www.dlink.top/
• https://gitee.com/DataLinkDC/Dinky
• Dinky开源