企业级数据治理工作怎么开展?Datahub这样做
大数据发展到今天,扮演了越来越重要的作用。数据可以为各种组织和企业提供关键决策的支持,也可以通过数据分析帮助发现更多的有价值的东西,如商机、风险等等。
在数据治理工作开展的时候,往往会有一个专门负责数据治理工作的负责人,他和大数据的负责人共同保证数据的可靠性,合法合规性。因为只有这样的数据才是有价值的,这也是很多公司追求的目标:在合规的同时,让数据创造价值。
DataHub 是一个强大的工具,可帮助企业完成数据治理的工作。下面让我们从负责人的角度深入了解 DataHub 是如何帮助改善大数据负责人和数据治理负责人的。
大数据负责人
大数据负责人的任务是设计和管理公司的数据及其用户。DataHub 可以帮助轻松维护大数据过程中的不同部分。最重要的是,它能形成一些通过的指标,这些对于公司的很多岗位都非常的有帮助。以下是 DataHub 如何帮助大数据负责人日常可能面临的一些问题。
1、数据集和仪表板的数据是否可靠?
数据集和BI是商业决策中最重要的部分,如果这部分数据的准确性都无法保证,那么做出的决策肯定是错误的。
DataHub 的元数据测试功能可让您围绕元数据的内容进行自定义测试。您可以轻松查看有多少数据集,数据集中的描述、所有者和其他属性。这有助于您快速确定您的实体是否可靠。在不久的将来,Datahub还将增加一些新的功能。如允许您按最常用的数据集来查看元数据,这有助于您在进行数据质量更容易发现关键点所在。
如何支持不同的数据使用者?
开展数据分析工作意味着比以前更多的了解数据的用户和查看数据的用户。DataHub 可以让这两类用户相互合作,而无需负责人直接参与。了解数据的用户可以通过编写描述和使用标签和词汇表术语对数据进行分类来轻松注释您拥有的数据。
DataHub 还在右侧栏中增加了简单而强大的注释工具。
想了解数据的用户还可以自行利用 DataHub 的搜索功能和数据血缘特性来查找相关资产并了解它们。
搜索功能:
数据血缘功能:
DataHub 使各种用户可以为各种元数据进行管理,从而使您的数据血缘问题不会成为团队生产力的瓶颈。
数据治理负责人
随着数据安全问题的出现,监管对于数据合规性的要求越来越高。如何让数据合规合法是数据治理负责人的责任所在。由于敏感个人信息的泄露存在风险,如何让团队遵循数据治理准则就非常的重要。DataHub 的分类和数据组织功能让您可以轻松处理此问题,并减少人为的错误。
如何去定义数据的合规标准?
DataHub 的业务词汇表功能可以提供一站式服务,来标准化数据的合规类型,并为整个企业提供数据合规性的事实标准。将数据按照合规类型标准化为不同的级别,例如敏感数据、机密数据等等。
单击术语表功能可让您轻松查看关联该术语的实体列表。
术语表还允许您定义业务术语并将数据集和仪表板与术语相关联。这使您的所有团队成员都知道某个术语的确切含义。
如何对数据进行分类?
对数据进行分类是一种最简单、最强大的数据组织方式,让数据更容易管理。在 DataHub 中,您可以将术语表应用于数据集中的特定列,这样您就可以对数据进行分类并为其分配合规类型。
您还可以为术语表设置继承结构,以便特定类别自动与其他词汇表术语分类。在下面的示例中,我们将所有标记为“品种”的数据设置为也属于“敏感”的术语,因此它会在整个 DataHub 中自动携带该合规类型。
如何将我的数据资产应用于部门级?
许多企业由多个部门组成。使用 DataHub 时,团队成员可以通过在其部门的权限下浏览,轻松过滤和查看与自己部门相关的数据。
将此功能纳入数据生态系统可以简化仅在部门级权限下进行数据相关工作的工作的团队成员的工作。这对于具有通常彼此独立工作的不同部门的公司特别有用。同时,中央管理人员仍然可以通过 DataHub 统一查看您组织中发生的所有数据和业务。
有什么用呢?例如“部门 A 的数据已正确注释,但部门 B 的数据注释不全且杂乱无章”。作为数据治理的负责人,这个功能够棒了吧!
总结
数据治理的实践经验还非常的少,在使用Datahub的过程中,也发现了很多Datahub可以帮助我们管理数据的非常好的功能。我们可以利用 DataHub来管理我们的数据,为数公司导创造价值。随着时间的推移,DataHub 也正在添加更多功能,让我们持续关注吧!
Datahub系列文章
万字保姆级长文——Linkedin元数据管理平台Datahub离线安装指南
欢迎加入学习群与我们一起讨论!
大数据与数据治理相关资料领取 请关注大数据流动,后台回复 大数据2022
加入学习群 请关注大数据流动,后台回复 加群
数据治理实践类知识星球 数据治理工具箱 也已成立 ,需要加入请在后台 回复 “数据治理工具箱”
公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号星标并****置顶!
企业级数据治理工作怎么开展?Datahub这样做的更多相关文章
- 数据治理工具调研之DataHub
1.项目简介 Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类.集中策略引擎.数据血缘.安全和生命周期管理在 ...
- DataHub——实时数据治理平台
DataHub 首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关. 数据治理是大佬们最近谈的一个火热的话题.不管国家层面,还是企业层面现在对这个问题是越 ...
- 数据治理方案技术调研 Atlas VS Datahub VS Amundsen
数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要.而适合于Hadoop大数据生态体系的数据治理就非常的重要了. 大数据下的数据治理作为很多企业的一个巨大的 ...
- 使用 Apache Atlas 进行数据治理
本文由 网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采 ...
- Github 1.9K Star的数据治理框架-Amundsen
Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性. 这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐.可用的工具很多各有千秋,数据血缘做的较好的应该是Apache ...
- Apache 首次亚洲在线峰会: Workflow & 数据治理专场
背景 大数据发展到今天已有 10 年时间,早已渗透到各个行业,数据需 求越来越多,这使得大数据 业务间的依赖关系也越来越复杂,另外也相信做数据的伙伴肯定对如何治理数据也是痛苦之至,再加上现今云原生时代 ...
- Data.gov.uk电子政务云,牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践
牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践 我是牛津互联网研究院的研究员,是英国开放互联网的一个主要的研究机构和相关政策制订的一个机构.今天主要给大家介绍一下英国数据治理的一些现状和实践 ...
- 一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务架构 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物.互联网时代的产品通常有两类特点:需求变化快和用户群体庞大,在这种情况 ...
- 成功实施的APS项目故事分享---我们数据治理的心路历程
一.故事背景 A企业是易普优APS重要客户之一,是某行业的龙头企业:APS项目历时7个月顺利上线,十个月验收!通过易普优APS的顺利实施,建成了集团的精益计划管控运营平台,树立计划的权威与指挥棒作用, ...
随机推荐
- Spring 源码(14)Spring Bean 的创建过程(6)对象的提前暴露
知识回顾 解析完Bean信息的合并,可以知道Spring在实例化Bean之后,属性填充前,对Bean进行了Bean的合并操作,这里的操作主要做了对Bean对象标记了@Autowired.@Value. ...
- 好客租房21-react组件的两种创建方式(函数组件)
1使用函数创建组件 函数组件:使用js的函数或者箭头函数创建的组件 约定1:函数组件名称必须以 开头 约定2:函数组件必须有返回值 表示该组件的结构 如果返回值为null 表示不渲染任何内容 2.1使 ...
- unity---角色控制器控制角色移动
获取对象 public CharacterController cc; cc=gameObject.GetComponent<CharacterController>(); if(Inpu ...
- Windows环境下启动Redis报错:Could not create server TCP listening socket 127.0.0.1:6379: bind: 操作成功完成。(已解决)
问题描述: 今天在windows环境下启动Redis时启动失败报错: 解决方案: ①运行命令:redis-cli.exe ②退出Redis ③运行命令:redis-server.exe redis.w ...
- python面向对象双下划线方法与元类
目录 双下划线方法(__) 元类简介 产生类的两种表现形式 元类的基本使用 元类进阶操作 __new__方法 双下划线方法(__) 面向对象中的双下方法也有一些人称之为是魔法方法,有些双下方法不需要刻 ...
- Fail2ban 命令详解 fail2ban-regex
fail2ban-regex是fail2ban提供的用来测试正则表达式的一个小工具,我们可以用它来测试正则表达式是否能够匹配到日志文件中的要禁止的IP行. fail2ban-regex默认情况下自动匹 ...
- Docker搭建大数据集群 Hadoop Spark HBase Hive Zookeeper Scala
Docker搭建大数据集群 给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hiv ...
- 【进阶】Spring中的注解与反射
[进阶]Spring中的注解与反射 目录 [进阶]Spring中的注解与反射 前言 一.内置(常用)注解 1.1@Overrode 1.2@RequestMapping 1.3@RequestBody ...
- 渗透测试之sql注入验证安全与攻击性能
由于渗透测试牵涉到安全性以及攻击性,为了便于交流分享,本人这里不进行具体网址的透露了. 我们可以在网上查找一些公司官方网站如(http://www.XXXXXX.com/xxxx?id=1) 1.拿到 ...
- 关于string类型的大小写转换函数
对于string类型的有力工具 transform(s.begin(), s.end(), s.begin(),::tolower)大写转小写 transform(s.begin(), s.end() ...