十分钟读懂火山引擎 DataLeap 数据治理实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

日前，火山引擎数智平台 VeDI 直播活动「超话数据」在线举办，来自火山引擎 DataLeap 数据产品专家从数据治理与管理，企业数智化升级等角度，分享了 DataLeap 在字节跳动内的治理经验和实践。

DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助企业快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，提升数据研发效率、降低管理成本，自 2022 年推出至今，DataLeap 提供的数据研发治理能力已陆续被多个行业企业所采用。

本次分享主要围绕以下几个方向展开：

数据治理是数据中台核心能力之一
一站式数据治理赋能企业数字化转型
基于字节经验的数据治理解决方案
以「在线教育」场景为例，解读数据治理实践

企业数字化升级业务场景及痛点

1、数据孤岛

一种情况是海量数据分散在各处且形态各异，造成集成困难；另一种情况则是批量数据和实时数据的集成技术不同，导致集成难度。

2、需求响应慢

通常数据开发的需求是支持业务，但一般一个需求从提出到到沟通到交付，周期是 2 周以上，甚至更长，会影响到业务的一些敏捷度。其次数据的需求不好复用，也会涉及到像重复开发以及浪费资源的情况。

3、数据质量差

第三个痛点是数据质量差，由于数据的杂质比较多、质量不好，清洗难度大，当出现口径不一致的时，会影响到数据产出的时效。

4、资产共享难

最后一个是数据资产的共享难，一般企业有让数据资产能够沉淀，能够共享的诉求。如果是遇到源数据不完善，用户无法找到数据，同时缺少有效的知识体系的一些沉淀，对数据价值的挖掘也是一个难点。

火山引擎数据中台解决方案

一站式大数据研发治理平台

火山引擎目前提供的数据中台解决方案由两部分组成：一站式的大数据研发治理平台+大数据的平台。一站式的研发治理平台，它主要解决的包括数据的整合，支持多元异构的数据的接入。其次是数据的全链路研发管理，包括支持多引擎以及对接各种各样的 DATA、OPS、 CICD 的能力。第三层是全生命周期的治理，包括到质量基线、 SLA 等等。一站式的大数据研发治理平台第四层是数据安全共享，提供向细粒度的数据权限管控和审批。

大数据平台

大数据平台是一个底座，提供的是数据的存储和计算能力，支持像 TB 到 PB 级的离线，实时检索各种场景。它有两个引擎，一是基于开源 Hadoop 生态的 EMR，支持数据湖场景，二是火山引擎自研的湖沧一体分析服务 LAS，兼容开源生态，支持数据仓库 &数据湖场景。

大数据研发治理套件 DataLeap 产品架构

全链路的数据研发

全链路的数据研发，涵盖数据源、数据集成、数据处理、数据服务等全流程。为了提高数据开发效率，DataLeap 还提供支持数仓规范建模、代码审查的发布中心，以及支持任务运维、数据回溯的运维监控。

全域治理

全域治理，包括治理规划、进度管控到治理收益反馈全流程能力，支持用户完成 SLA 治理、数据质量、数据安全、成本治理以及报警治理等工作。

资产地图

资产地图，主要是支持数据资产沉淀、数据共享以及数据复用。

关键能力 1：一站式数据研发全链路管理

一站式的数据研发全链路管理，主要面向研发场景，覆盖从需求设计到开发、测试、发布、验收、运维等全部流程。

首先能提供稳定、安全、高效的数据集成服务，支持 20 +以上多元异构数据集成；其次能提供一站式、全栈数据研发服务，兼容 Spark、Flink 等多种计算引擎，提供 HSQL、Spark、Python、Flink 、SQL、Notebook 等 10+数据开发能力；最后是全面的运维能力，丰富的批、流任务监控规则，归类业务运维管理，监控全链路任务运行。

关键能力 2：数据全生命周期治理-分布式数据自治

第二个关键能力是全生命周期的数据治理，也可称为“分布式数据自治”。分布式数据自治场景涵盖稳定性、质量、安全、成本优化等内容。

在产品层面，火山引擎 DataLeap 提供规划式治理、治理诊断以及治理之后的目标验收和复盘，还具备 SLA 数据安全资源优化等功能。

关键能力 3：数据资产发现及细粒度权限管控

第三个关键能力是数据资产发现以及细粒度权限管控，它主要是提供了痊愈的数据采集，基于血缘能够展示出来所有的元数据，能够挖掘数据价值，能够找数、用数等。数据资产提供了强大的检索能力。并且 DataLeap 有很丰富的元数据的详情信息，结合数据血缘，帮助用户能够全面地探索和理解各种各样的数据内容。

DataLeap 提供事前、事中、事后这种全方位的数据安全保障，做到最小授权原则，同时提供强大的数据审计能力，包括权限审计、行为审计等等。

核心优势

第一是 DataLeap 是能够和多云多引擎开源兼容的一个大数据治理平台的软件产品，刚才提到的像 EMR 、LAS 这种平台。从产品形态上来看，DataLeap 提供公有云的 SaaS 以及私有化多云部署的能力。在研发上，实现了研发全链路覆盖，这是一整套完善的能力。第三是字节特色的分布式数据自治， SLA 细粒度的权限管控，事中事前、事中事后的全生命周期的数据治理的能力。第四个优势是数据资产、地图共享，提供数据专题，指标平台、数据血缘链路追踪、数据服务，帮助搭建企业级数据资产体系和数据共享。

客户案例分享

以得到 APP 为例，得到面临业务数据不稳定、数仓欠缺规范性等治理问题。

通过引入数据 BP 机制，结合专家咨询，火山引擎 DataLeap 帮客户搭建可持续的治理体系。在提效方面，帮助得到推荐以及落地数据质量和 SLA 达成率，解决了产出延迟和脏数据的问题，显著的提升了数据故障的解决效率，即从 3 天降为 1 天。同时，DataLeap 帮得到沉淀出一个规范化数仓，构建出八个业务域，使得数据地图的完整度提升，并提高了找数、用数效率。

从实施效果上来讲，得到团队完成从 0 到 1 的数据治理体系搭建，最终实现数据研发提效 50% ，使得 4 人数仓团队管理超过 3000 个数据任务，数仓易用性也提升 60%。

点击跳转大数据研发治理套件 DataLeap 了解更多