【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

大家好，我是独孤风。

这几年数据治理爆火，但迟迟没有一个优秀的开源数据治理平台的出现。很多公司选择元数据管理平台作为基础，再构建数据质量，数据血缘等工具。

今天为大家推荐的开源项目，是一个一体化的数据治理平台，一个平台解决了大部分问题。让我们一起来看看吧~

OpenMetadata是一个用于数据治理的一体化平台，可以帮助我们发现，协作，并正确的获取数据。

OpenMetadata提供了数据发现、数据血缘、数据质量、数据探查、数据治理和团队协作的一体化平台。它是发展最快的开源项目之一，拥有充满活力的社区，并被各行业垂直领域的众多公司采用。 OpenMetadata 由基于开放元数据标准和API 的集中式元数据存储提供支持，支持各种数据服务的连接器，可实现端到端元数据管理，让您可以自由地释放数据资产的价值。

其UI非常美观，其操作和使用逻辑，也符合业务人员的习惯。

该项目的Github地址为：https://github.com/open-metadata/OpenMetadata

目前标星3.2K，最新版本为1.2.3

主要开发语言前端为TS，后端为Java和Python。

可在大数据流动后台回复“OpenMetadata”获取安装包与学习资料。

什么是OpenMetadata？

OpenMetadata 包括以下内容：

元数据模式- 使用类型、实体和实体之间关系的模式定义元数据的核心抽象和词汇。这是开放元数据标准的基础。还支持具有自定义属性的实体和类型的可扩展性。

元数据存储- 存储连接数据资产、用户和工具生成的元数据的元数据图。

元数据 API - 用于生成和使用基于用户界面模式以及工具、系统和服务集成构建的元数据。

摄取框架- 用于集成工具并将元数据摄取到元数据存储的可插入框架，支持大约 55 个连接器。摄取框架支持众所周知的数据仓库，如 Google BigQuery、Snowflake、Amazon Redshift 和 Apache Hive；MySQL、Postgres、Oracle 和 MSSQL 等数据库；Tableau、Superset 和 Metabase 等仪表板服务；消息服务，如 Kafka、Redpanda；以及 Airflow、Glue、Fivetran、Dagster 等管道服务。

OpenMetadata 用户界面- 用户发现所有数据并就所有数据进行协作的单一位置。

核心功能

数据协作- 通过活动源获取事件通知。使用 webhook 发送警报和通知。添加公告以通知团队即将发生的更改。添加任务以请求描述或术语表术语批准工作流程。添加用户提及并使用对话线程进行协作。
数据质量和分析器- 标准化测试和数据质量元数据。将相关测试分组为测试套件。支持自定义SQL数据质量测试。有一个交互式仪表板可以深入了解详细信息。
数据血缘- 支持丰富的列级沿袭。有效过滤查询以提取沿袭。根据需要手动编辑谱系，并使用无代码编辑器连接实体。
全面的角色和策略- 处理复杂的访问控制用例和分层团队。
连接器- 支持连接到各种数据库、仪表板、管道和消息传递服务的 55 个连接器。
术语表- 添加受控词汇来描述组织内的重要概念和术语。添加词汇表、术语、标签、描述和审阅者。
数据安全- 支持 Google、Okta、自定义 OIDC、Auth0、Azure、Amazon Cognito 和 OneLogin 作为 SSO 的身份提供商。此外，还支持 AWS SSO 和 Google 基于 SAML 的身份验证。

功能展示

请参考大数据流动视频号的功能演示：

如何安装？

OpenMetadata 的安装非常简单，可以使用Docker进行快速的安装，几分钟就可以搞定。

首先查看python版本。

python3 --version

需要python 3.7 3.8 3.9三个版本都可以。

查看docker版本。

docker --version

20.10.0或者更高的版本。

docker compose version

需要docker compose 2.1.1或者更高的版本。

建立文件夹

mkdir openmetadata-docker && cd openmetadata-docker

创建虚拟环境。

python3 -m venv env

虚拟环境生效。

source env/bin/activate

更新pip

pip3 install --upgrade pip setuptools

获取openmetadata配置文件

wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose.yml

wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose-postgres.yml

启动容器

docker compose -f docker-compose.yml up --detach

启动postgre

docker compose -f docker-compose-postgres.yml up --detach

随后访问

http://localhost:8585

成功！