万字保姆级长文——Linkedin元数据管理平台Datahub离线安装指南
元数据管理平台Datahub最近的热度越来越高。已经更新到了0.8.40的版本,来咨询我的小伙伴也越来越多,特别是安装过程有很多问题。
考虑到有些企业部分数据服务是部署在内网的,那么离线安装Datahub就显得非常重要了。
而且对于在线安装遇到很多问题的情况,或者是网络不好的情况,用离线安装方式也可以轻松搞定。
那么,如何进行Datahub的离线安装呢?
下面本文将一步一步的带大家进行Datahub的离线安装,并记录整个过程中遇到的问题,本文耗时整整一周,也咨询了slack上的很多datahub维护者,耗费了笔者大量的心血。
但主要还是考虑到抄袭的问题(防爬虫),本文决定开启我的第一篇付费文章。我在去年写作的文章:一站式元数据治理平台——Datahub入门宝典,被大量的抄袭,部分还对pdf进行的付费下载,而且大量的爬虫导致爬取的文章残缺不全,让很多同学花费了大量的时间去试错,这些都是我不能接受的。
但是付费文章对于技术分享来说未免太不友好的,所以这篇我会整理出一个更完整的PDF版本,并且将离线安装Datahub需要的所有安装包(大概7GB左右),都分享给大家。如果您是对Datahub纯学习目的同学,欢迎大家加入Datahub学习交流群,与我们一起讨论Datahub相关知识,共同分享资料。
希望大家可以支持与理解~
群已满200人,无法扫码进入,可以扫下面的二维码进入。
(注意:本群只做Datahub学习讨论,禁止任何形式的广告。希望多多分享自己的经验,而不是一味地提问,本群退出后不再允许加入~)

正文开始:
本文所使用离线安装的操作系统是CentOS7。这也是大多数生产机器的选择。
本文所选择的Python的版本为3.8.3,Docker版本为20.10.0,都可以很好的支持Datahub的安装。Datahub下载的最新0.8.40版本,这是目前功能最完善也最稳定的版本。
考虑到有些同学没有类似的CentOS环境,本文将从虚拟机搭建,CentOS 7安装,离线安装Python3,Datahub离线包安装,Docker离线安装,启动Datahub六部分来进行,并将安装过程中遇到的问题进行整理。
文章目录结构如下:

一、虚拟机安装
要想有一个本地稳定的调试环境,就必须安装虚拟机,本文使用的是Win10系统的Hyper-V管理器,也是一个系统自带的虚拟机工具,非常的方便。
安装之前先下载一个CentOS镜像,我这边用的是CentOS-7-x86_64-DVD-2009.iso。可以去官网下载:https://www.centos.org/download/。
网速不好的同学可以加入Datahub学习交流群,获取Datahub所有安装资料下载包。
加入方式,关注 大数据流动,后台回复 “加群”。
首先,打开Hyper-V管理器。可以搜索一下,有的话直接打开。没有的话是系统默认没有开启这个服务。

如果找不到,需要先打开。打开Hyper-V服务的方法如下:
打开步骤:
选择程序和功能,启用或关闭Windows功能。

在这里选择把Hyper-V的管理工具和平台都打开。

勾上Hyper-V重启电脑即可。再搜索就有Hyper-V了。
然后我们打开Hyper-V管理工具,新建一个虚拟机。

需要指定名称和位置,需要保证安装位置有足够大的空间。

选择虚拟机代数,选第一代。

这是第一代,第二代的区别,一般选择默认第一代。

分配内存,这个后面也是可以修改的。考虑到Datahub的基本需要,还有电脑的配置,我这里选择4096MB。
(补充一下,datahub建议内存就是4GB,所以这里我后来做了修改,建议5GB以上)

分配网络,因为本次要模拟离线环境,所以没有网络。

创建虚拟硬盘,硬盘大小修改很难,所以也要选择好。

导入镜像。

然后点击完成。

虚拟机成功创建!
二、CentOS 7 安装
启动Hyper-V管理器。
万字保姆级长文——Linkedin元数据管理平台Datahub离线安装指南的更多相关文章
- Hadoop生态元数据管理平台——Atlas2.3.0发布!
大家好,我是独孤风. 今天我们来聊一下另一个元数据管理平台Apache Atlas.Atlas其实有一些年头了,是在2015年的时候就开源. 相对于Datahub来说,Atlas显得有一些" ...
- 一站式元数据治理平台——Datahub入门宝典
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为新一代的元数据管理平台,Datahub在近一年的时间里发展迅猛,大有取代老牌元数据管理工具Atlas之势.国内Datahub ...
- 保姆级教程!手把手教你使用Longhorn管理云原生分布式SQL数据库!
作者简介 Jimmy Guerrero,在开发者关系团队和开源社区拥有20多年的经验.他目前领导YugabyteDB的社区和市场团队. 本文来自Rancher Labs Longhorn是Kubern ...
- DataPipeline丨LinkedIn元数据之旅的最新进展—Data Hub
作者:Mars Lan, Seyi Adebajo, Shirshanka Das 译者: DataPiepline yaran 作为全球最大的职场社交平台,LinkedIn的数据团队不断致力于扩展其 ...
- 1.1 大数据简介-hadoop-最全最完整的保姆级的java大数据学习资料
目录 1 hadoop-最全最完整的保姆级的java大数据学习资料 1.1 大数据简介 1.1.1 大数据的定义 1.1.2 大数据的特点 1.1.3 大数据的应用场景 1.1.4 大数据的发展趋势及 ...
- kettle系列-我的开源kettle管理平台[kettle-manager]介绍
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端管理工具. 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题 ...
- kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端调度.管理工具. 新版本 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操 ...
- 亿级用户下的新浪微博平台架构 前端机(提供 API 接口服务),队列机(处理上行业务逻辑,主要是数据写入),存储(mc、mysql、mcq、redis 、HBase等)
https://mp.weixin.qq.com/s/f319mm6QsetwxntvSXpKxg 亿级用户下的新浪微博平台架构 炼数成金前沿推荐 2014-12-04 序言 新浪微博在2014年3月 ...
- 保姆级别的RabbitMQ教程!一看就懂!(有安装教程,送安装需要的依赖包,送Java、Golang两种客户端教学Case)
保姆级别的RabbitMQ教程!一看就懂!(有安装教程,送安装需要的依赖包,送Java.Golang两种客户端教学Case) 目录 什么是AMQP 和 JMS? 常见的MQ产品 安装RabbitM ...
- 数据治理之元数据管理的利器——Atlas入门宝典
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整 ...
随机推荐
- 20.1 OpenSSL 字符BASE64压缩算法
OpenSSL 是一种开源的加密库,提供了一组用于加密和解密数据.验证数字证书以及实现各种安全协议的函数和工具.它可以用于创建和管理公钥和私钥.数字证书和其他安全凭据,还支持SSL/TLS.SSH.S ...
- 一篇搞定Sentinel-搭建Spring Cloud Alibaba服务组件Sentinel实现服务资源控制
1.Sentinel介绍 随着微服务的流行,服务和服务之间的稳定性变得越来越重要.Sentinel 是面向分布式.多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量路由.流量控制.流量整形 ...
- BI 数据可视化平台建设(1)—交叉表组件演变实战
作者:vivo 互联网大数据团队 - Zhu Jianchen 本文是vivo互联网大数据团队<BI数据可视化平台建设>系列文章第1篇 - 交叉表组件. 交叉表在数据分析里应用广泛,通过本 ...
- STM32 定时器时钟配置技巧
众所周知 STM32 的时钟配置比较复杂,而定时器的时钟配置更是 '奇葩'. 如下图(截图自STM32F4编程手册)APB的预分频器分频系数如果不为1,则定时器的时钟就倍频了反而. 配置技巧 下面以S ...
- 记一次线上问题引发的对 Mysql 锁机制分析
背景 最近双十一开门红期间组内出现了一次因 Mysql 死锁导致的线上问题,当时从监控可以看到数据库活跃连接数飙升,导致应用层数据库连接池被打满,后续所有请求都因获取不到连接而失败 整体业务代码精简逻 ...
- .NET 8来了,那就开发一套基于.NET 8的快速开发框架吧,就叫Simple
.NET 8来了,开发一套基于.NET 8的快速开发框架吧,就叫 Simple 点我Star 框架由来 为啥有了那么多开发框架,还得非要再搞个呢,大家都知道很多快速开发框架,啥ABP 啥水果啥的,怎么 ...
- Seaurl-分享一个云上网址收藏网站
前言 最近网上发现一个强大的网址收藏网站,点击这里打开,分享给大家,希望大家会喜欢. 网址空间 "网址空间"是一个专业的在线平台,它允许用户分享他们在日常生活和工作中频繁访问的网站 ...
- Miniconda安装及搭建
Miniconda安装配置 下载Miniconda Miniconda下载地址 最新版 Miniconda For Windows 下载链接 Windows 安装配置 修改Powershell执行策略 ...
- 深入浅出 PLT/GOT Hook与原理实践
动态链接 计算机程序链接时分两种形式:静态链接和动态链接. 静态链接在链接时将所有目标文件中的代码.数据等Section都组装到可执行文件当中,并将代码中使用到的外部符号(函数.变量)都进行了重定位. ...
- Go笔记(3)-3种go语言的键盘输入详解
go语言的键盘输入详解 go语言中有三种输入函数,分别是: fmt.Scanf() 可以按照指定的格式进行输入 fmt.Scanln() 通过指针将值赋值给变量 fmt.Scan() (1)fmt.S ...