随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为新一代的元数据管理平台,Datahub在近一年的时间里发展迅猛,大有取代老牌元数据管理工具Atlas之势.国内Datahub的资料非常少,大部分公司想使用Datahub作为自己的元数据管理平台,但可参考的资料太少. 所以整理了这份文档供大家学习使用. 本文档基于Datahub最新的0.8.20版本,整理自部分官网内容,各种博客及实践过程.文章较长,建议收藏.新版本的文档请关注公众号 大数据流动,会持续的更新~ 通过本文档…

大家好,我是独孤风. 今天我们来聊一下另一个元数据管理平台Apache Atlas.Atlas其实有一些年头了,是在2015年的时候就开源. 相对于Datahub来说,Atlas显得有一些"老"了,社区也远没有以前活跃. 但是,从稳定性和与Hadoop生态的融合度的角度来说,Atlas目前还是无可替代的,现在很多企业生产环境也都是用的Atlas. 特别Atlas对Hive的原生支持,以及数据血缘的展示,非常的友好.! 本次Atlas发布了2.3.0版本,也进行了很多更新,比如发布了Py…

@ 目录 概述 定义 为何使用 其他产品 安装 简述 规划 基础环境 Docker安装 Rancher安装 创建用户 创建集群 添加Node节点 配置kubectl 创建项目和名称空间 发布应用 偏好设置 概述 定义 Rancher 官网 https://rancher.com/ Rancher 官网文档 https://rancher.com/docs/ Rancher 最新版本2.6官网文档 https://rancher.com/docs/ Rancher GitHub源码地址 https…

Rancher 容器管理平台-免费视频培训-链接及内容 第三季 第5期-2018年05月10日-持续集成的容器化实践回放网址:http://www.itdks.com/liveevent/detail/11804 培训时间:5月10日20:30培训时长:约1.5小时主要内容: * 持续集成的概念,要解决的问题和最佳实践 * 容器化场景的持续集成方式 * 常用CI工具介绍对比 *  Rancher2.0的Pipeline 第4期-2018年05月03日-Kubernetes中存储和负载均衡的实现回…

随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整理了这份文档供大家学习使用. 本文档基于Atlas2.1.0版本,整理自部分官网内容,各种博客及实践过程.文章较长,建议收藏.新版本的文档请关注公众号 大数据流动,会持续的更新~ 本文档共分为8个部分,层级结构如下图所示. 文档版权为公众号 大数据流动 所有,请勿商用.相关技术问题以及安装包可以联系…

一.前言   元数据管理是数据治理非常重要的一个方向,元数据的一致性,可追溯性,是实现数据治理非常重要的一个环节.传统数据情况下,有过多种相对成熟的元数据管理工具,而大数据时代,基于hadoop,最为成熟的,与Hadoop兼容性最好的元数据治理平台则是Apache Atlas.本文是<Apache Atlas元数据管理从入门到实战>系列博文的第1篇.相关内容配套视频课程,已发布在网易云课堂:<Apache Atlas元数据管理从入门到实战>,敬请关注.配套实验环境地址:http:/…

企业级容器管理平台 Rancher 介绍入门及如何备份数据 是什么 Rancher 是一个为 DevOps 团队提供的完整的 Kubernetes 与容器管理解决方案的开源的企业级容器管理平台.它解决了多 Kubernetes 集群管理.操作和安全的难题,同时为 DevOps 团队提供了运行容器化工作负载的管理工具 为什么 docker 的使用其实很简单很方便,一条docker run命令就可以跑起一个服务,比如一个 web 系统.一个数据库.可能有的软件配置很复杂,但是用 docker 你可以…

文章目录 安装Hudson 使用Hudson tips:自动化部署 附录:两个脚本 安装Hudson IP:192.168.4.221 8G 内存(Hudson 多个工程在同时构建的情况下比较耗内存) 环境:CentOS 6.6.JDK7 Hudson 不需要用到数据库,Hudson 只是一个持续集成服务器(持续集成工具),要想搭建一套完整的持续集成管理平台, 还需要用到前面课程中所讲到的 SVN.Maven.Sonar 等工具,按需求整合则可. 上图可以看出hudson对项目进行构建,构建完成…

文章目录 SonarQube的介绍 SonarQube的安装 安装简介 详细安装过程 详细使用过程 SonarQube的介绍 SonarQube是一个管理代码质量的开放平台. 可以从七个维度检测代码质量(为什么要用SonarQube): (1) 复杂度分布(complexity):代码复杂度过高将难以理解.难以维护 (2) 重复代码(duplications):程序中包含大量复制粘贴的代码是质量低下的表现 (3) 单元测试(unit tests):统计并展示单元测试覆盖率 (4) 编码规范(co…

文章目录 持续集成管理平台介绍 持续集成介绍 持续集成管理平台的组成 持续集成实践介绍 即将学习 SVN版本管理系统的安装 安装 Subversion + Apache 安装 jsvnadmin 简单介绍(可以不看) 安装jsvnadmin 持续集成管理平台介绍 持续集成介绍 持续集成是一种软件开发实践 团队开发成员经常集成他们的工作,每次集成都通过自动化的构建 (包括自动化编译.测试.发布)来验证,从而尽快地发现集成错误. 持续集成的价值.要素.原则- 请自行找资料了解- 谈谈我对持续集成的好…