华为云数据治理生产线DataArts，让“数据‘慧’说话”

【华为云数据治理生产线DataArts，让“数据‘慧’说话”】的更多相关文章

Apache 首次亚洲在线峰会: Workflow & 数据治理专场

背景大数据发展到今天已有 10 年时间,早已渗透到各个行业,数据需求越来越多,这使得大数据业务间的依赖关系也越来越复杂,另外也相信做数据的伙伴肯定对如何治理数据也是痛苦之至,再加上现今云原生时代的要求,怎么能更好.更容易的处理大数据任务关系及更好的实现数据治理呢? Apache 下与之密切相关的项目有 Apache DolphinScheduler, Apache Atlas, Apache Airflow , Apache Oozie, 和 Apache Griffin .此…

数据治理（Data Governance）

今天看到一篇数据治理的论文,以下为论文内容的记录与学习. 数据治理是指将数据作为企业资产而展开的一系列的具体化工作,是对数据的全生命周期管理.数据治理的目标是提高数据质量(准确性和完整性),保证数据的安全性(保密性.完整性及可用性),实现数据资源在各组织机构部门的共享:推进信息资源的整合.对接.共享和综合应用,从而提升企业管理水平,充分发挥信息化在经营管理中的作用. 数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部门的知识和意见,通过一个类似于监督委员…

Nebula Graph 在微众银行数据治理业务的实践

本文为微众银行大数据平台:周可在 nMeetup 深圳场的演讲这里文字稿,演讲视频参见:B站自我介绍下,我是微众银行大数据平台的工程师:周可,今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况. 先来说下图数据库应用背景. WeDataSphere 图数据库架构是基于 JanusGraph 搭建,正如邸帅在演讲<NebulaGraph - WeDataSphere 开源介绍>中提及的那样,主要用于解决微众银行数据治理中的数据血缘问题.在使用 Jan…

火山引擎 DataLeap：3 个关键步骤，复制字节跳动一站式数据治理经验

更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理.资产.安全等全套数据中台建设,降低工作成本和数据维护成本.挖掘数据价值.为企业决策提供数据支撑. 本篇文章主要围绕火山引擎 DataLeap 一站式数据治理实践展开分享,从数据治理思路.平台建设以及能力升级三个步骤出发,带你全面复制字节跳动数据治理经验. ▌机遇与挑战数据治理存在落地困难的问题,体…

华为云kafka POC 踩坑记录

2019/03/08 18:29 最近在进行华为云相关POC验证,个人主要负责华为云DMS kafka相关.大致数据流程是,从DIS取出数据,进行解析处理,然后放入kafka,再从kafka中取出数据然后放到ElasticSearch以及OBS里面.kafka作为中间层次,发挥着中间件的重要作用.关于华为云kafka的整合,这两天的确碰到一些坑,现进行相关总结加以记录. 第一个问题:kafka的jar包不要用开源的,而是用图中libs的华为官方的jar包.新建libs文件目录,然后把jarBao…

走近深度学习，认识MoXing：初识华为云ModelArts的王牌利器 — MoXing

[摘要] 本文为MoXing系列文章第一篇,主要介绍什么是MoXing,MoXing API的优势以及MoXing程序的基本结构. MoXing的概念 MoXing是华为云深度学习服务提供的网络模型开发API.相对于TensorFlow和MXNet等原生API,MoXing API让模型的代码编写更加简单,允许用户只需要关心数据输入(input_fn)和模型构建(model_fn)的代码,即可实现任意模型在多GPU和分布式下的高性能运行. MoXing-TensorFlow支持原生TensorF…

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术【华为云技术分享】

2019年5月,华为云发布全球首个基于自研ARM架构的分布式缓存鲲鹏Redis,搭载华为LibOS+华为编译器+安全容器引擎三项黑科技,在保证Redis强劲高性能外,还降低客户30%的使用成本,真正实现了好用不贵的普惠型分布式缓存Redis产品. 本文从技术视角解读华为云鲲鹏Redis是如何通过数据中心基础设施.芯片.硬件.软件等全栈创新优化,达成以上效果. 一.为什么ARM架构适合Redis? 众所周知,Redis是一款风靡全球的高性能.高灵活性.数据结构类型丰富的key-value内存数据库…