企业级数据治理工作怎么开展?Datahub这样做
大数据发展到今天,扮演了越来越重要的作用。数据可以为各种组织和企业提供关键决策的支持,也可以通过数据分析帮助发现更多的有价值的东西,如商机、风险等等。
在数据治理工作开展的时候,往往会有一个专门负责数据治理工作的负责人,他和大数据的负责人共同保证数据的可靠性,合法合规性。因为只有这样的数据才是有价值的,这也是很多公司追求的目标:在合规的同时,让数据创造价值。
DataHub 是一个强大的工具,可帮助企业完成数据治理的工作。下面让我们从负责人的角度深入了解 DataHub 是如何帮助改善大数据负责人和数据治理负责人的。
大数据负责人
大数据负责人的任务是设计和管理公司的数据及其用户。DataHub 可以帮助轻松维护大数据过程中的不同部分。最重要的是,它能形成一些通过的指标,这些对于公司的很多岗位都非常的有帮助。以下是 DataHub 如何帮助大数据负责人日常可能面临的一些问题。
1、数据集和仪表板的数据是否可靠?
数据集和BI是商业决策中最重要的部分,如果这部分数据的准确性都无法保证,那么做出的决策肯定是错误的。
DataHub 的元数据测试功能可让您围绕元数据的内容进行自定义测试。您可以轻松查看有多少数据集,数据集中的描述、所有者和其他属性。这有助于您快速确定您的实体是否可靠。在不久的将来,Datahub还将增加一些新的功能。如允许您按最常用的数据集来查看元数据,这有助于您在进行数据质量更容易发现关键点所在。

如何支持不同的数据使用者?
开展数据分析工作意味着比以前更多的了解数据的用户和查看数据的用户。DataHub 可以让这两类用户相互合作,而无需负责人直接参与。了解数据的用户可以通过编写描述和使用标签和词汇表术语对数据进行分类来轻松注释您拥有的数据。

DataHub 还在右侧栏中增加了简单而强大的注释工具。
想了解数据的用户还可以自行利用 DataHub 的搜索功能和数据血缘特性来查找相关资产并了解它们。
搜索功能:

数据血缘功能:

DataHub 使各种用户可以为各种元数据进行管理,从而使您的数据血缘问题不会成为团队生产力的瓶颈。
数据治理负责人
随着数据安全问题的出现,监管对于数据合规性的要求越来越高。如何让数据合规合法是数据治理负责人的责任所在。由于敏感个人信息的泄露存在风险,如何让团队遵循数据治理准则就非常的重要。DataHub 的分类和数据组织功能让您可以轻松处理此问题,并减少人为的错误。
如何去定义数据的合规标准?
DataHub 的业务词汇表功能可以提供一站式服务,来标准化数据的合规类型,并为整个企业提供数据合规性的事实标准。将数据按照合规类型标准化为不同的级别,例如敏感数据、机密数据等等。

单击术语表功能可让您轻松查看关联该术语的实体列表。

术语表还允许您定义业务术语并将数据集和仪表板与术语相关联。这使您的所有团队成员都知道某个术语的确切含义。


如何对数据进行分类?
对数据进行分类是一种最简单、最强大的数据组织方式,让数据更容易管理。在 DataHub 中,您可以将术语表应用于数据集中的特定列,这样您就可以对数据进行分类并为其分配合规类型。

您还可以为术语表设置继承结构,以便特定类别自动与其他词汇表术语分类。在下面的示例中,我们将所有标记为“品种”的数据设置为也属于“敏感”的术语,因此它会在整个 DataHub 中自动携带该合规类型。

如何将我的数据资产应用于部门级?
许多企业由多个部门组成。使用 DataHub 时,团队成员可以通过在其部门的权限下浏览,轻松过滤和查看与自己部门相关的数据。

将此功能纳入数据生态系统可以简化仅在部门级权限下进行数据相关工作的工作的团队成员的工作。这对于具有通常彼此独立工作的不同部门的公司特别有用。同时,中央管理人员仍然可以通过 DataHub 统一查看您组织中发生的所有数据和业务。
有什么用呢?例如“部门 A 的数据已正确注释,但部门 B 的数据注释不全且杂乱无章”。作为数据治理的负责人,这个功能够棒了吧!

总结
数据治理的实践经验还非常的少,在使用Datahub的过程中,也发现了很多Datahub可以帮助我们管理数据的非常好的功能。我们可以利用 DataHub来管理我们的数据,为数公司导创造价值。随着时间的推移,DataHub 也正在添加更多功能,让我们持续关注吧!
Datahub系列文章
万字保姆级长文——Linkedin元数据管理平台Datahub离线安装指南
欢迎加入学习群与我们一起讨论!
大数据与数据治理相关资料领取 请关注大数据流动,后台回复 大数据2022
加入学习群 请关注大数据流动,后台回复 加群
数据治理实践类知识星球 数据治理工具箱 也已成立 ,需要加入请在后台 回复 “数据治理工具箱”
公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号星标并****置顶!
企业级数据治理工作怎么开展?Datahub这样做的更多相关文章
- 数据治理工具调研之DataHub
1.项目简介 Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类.集中策略引擎.数据血缘.安全和生命周期管理在 ...
- DataHub——实时数据治理平台
DataHub 首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关. 数据治理是大佬们最近谈的一个火热的话题.不管国家层面,还是企业层面现在对这个问题是越 ...
- 数据治理方案技术调研 Atlas VS Datahub VS Amundsen
数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要.而适合于Hadoop大数据生态体系的数据治理就非常的重要了. 大数据下的数据治理作为很多企业的一个巨大的 ...
- 使用 Apache Atlas 进行数据治理
本文由 网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采 ...
- Github 1.9K Star的数据治理框架-Amundsen
Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性. 这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐.可用的工具很多各有千秋,数据血缘做的较好的应该是Apache ...
- Apache 首次亚洲在线峰会: Workflow & 数据治理专场
背景 大数据发展到今天已有 10 年时间,早已渗透到各个行业,数据需 求越来越多,这使得大数据 业务间的依赖关系也越来越复杂,另外也相信做数据的伙伴肯定对如何治理数据也是痛苦之至,再加上现今云原生时代 ...
- Data.gov.uk电子政务云,牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践
牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践 我是牛津互联网研究院的研究员,是英国开放互联网的一个主要的研究机构和相关政策制订的一个机构.今天主要给大家介绍一下英国数据治理的一些现状和实践 ...
- 一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务架构 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物.互联网时代的产品通常有两类特点:需求变化快和用户群体庞大,在这种情况 ...
- 成功实施的APS项目故事分享---我们数据治理的心路历程
一.故事背景 A企业是易普优APS重要客户之一,是某行业的龙头企业:APS项目历时7个月顺利上线,十个月验收!通过易普优APS的顺利实施,建成了集团的精益计划管控运营平台,树立计划的权威与指挥棒作用, ...
随机推荐
- Spring Security之简单举例
核心功能 Spring Security提供了三个核心的功能: 认证(你是谁) 授权(你能干什么) 攻击防护(防止伪造身份) 一个简单例子 默认情况 在前面的开发中,都是将spring securit ...
- 429. N-ary Tree Level Order Traversal - LeetCode
Question 429. N-ary Tree Level Order Traversal Solution 题目大意: N叉树,返回每层的值,从上到下,从左到右 思路: 利用队列遍历这个N叉树 J ...
- Spring-Batch将CSV文件转为XML文件
1 介绍 用Spring Batch实现一个简单的需求,将csv文件转换成xml文件. csv文件如下:record.csv username, user_id, transaction_date, ...
- linux篇-Parse error: syntax error, unexpected ‘new’ (T_NEW) in /usr/local/nginx/html/cacti/lib/adodb
1首先这是基于lnmp模式进行的 2yum安装 yum -y install httpd mysql mysql-server php php-mysql php-json php-pdo 3lib库 ...
- 142_Power BI之同比预测
博客:www.jiaopengzi.com 焦棚子的文章目录 请点击下载附件 一.背景 最近刚好在做一个简单同比预测的模型,预测方法很简单,就是累计同比预测,把MTD展示出来. [video widt ...
- Java测试报告
测试题目:ATM机 程序说明:本程序中共包含了两个类,分别为Account类和AccountManager类 Account类代码: public class Account { private St ...
- Fail2ban 命令详解 fail2ban-server
Fail2ban的服务端操作命令,用于启动一个Fail2ban服务. root@local:~# fail2ban-server --help Usage: /usr/bin/fail2ban-ser ...
- 安装Redis到Linux(源码)
运行环境 系统版本:Ubuntu 16.04.2 LTS 软件版本:redis-5.0.4 硬件要求:无 安装过程 1.配置系统参数 root@localhost:~# vim /etc/sysctl ...
- Machine Learning With Go 第4章:回归
4 回归 之前有转载过一篇文章:容量推荐引擎:基于吞吐量和利用率的预测缩放,里面用到了基本的线性回归来预测容器的资源利用情况.后面打算学一下相关的知识,译自:Machine Learning With ...
- 【Linux系列】-Linux中用shell脚本从SFTP服务器下载文件
银企直连的电子回单接口中,部分银行使用sftp服务作为文件服务器,通常只保留N天的文件内容,企业未在规定的时间范围下载文件之后就不能下载了,那么有一个自动下载的脚本岂不美滋滋. Linux安装SFTP ...