1.简介 Docker是一个开源的应用容器引擎:是一个轻量级容器技术: Docker支持将软件编译成一个镜像:然后在镜像中各种软件做好配置,将镜像发布出去,其他使用者可以直接使用这个镜像: 运行中的这个镜像称为容器,容器启动是非常快速的. 什么是镜像?举个例子,当我们的Windows系统出现问题需要重装系统时,我们通常使用U盘或者光盘里的镜像系统进行安装,如下图所示 什么是容器?如果把.exe文件比作镜像,那我们的电脑就是安装后启动的容器 Linux中docker的示意图如下 2.核心概念 do…

什么是Docker Swarm Docker Swarm是Docker官方的一种容器编排方案,用于管理跨主机的Docker容器,可以快速对指定服务进行水平扩展.部署.删除 一个Docker Swarm集群通常由多个安装有Docker且运行在Docker Swarm Mode的主机组成,角色包含Managers(管理者).Workers(执行节点),一个节点可以兼拥有这两个角色或之一 在Docker 1.12以前,Docker Swarm作为一个独立的集群容器编排软件(Swarmkit)形式存在,…

一.Zookeeper简介 Zookeeper是一个开源的分布式协调服务,目前由Apache进行维护.Zookeeper可以用于实现分布式系统中常见的发布/订阅.负载均衡.命令服务.分布式协调/通知.集群管理.Master选举.分布式锁和分布式队列等功能.它具有以下特性: 顺序一致性:从一个客户端发起的事务请求,最终都会严格按照其发起顺序被应用到Zookeeper中: 原子性:所有事务请求的处理结果在整个集群中所有机器上都是一致的:不存在部分机器应用了该事务,而另一部分没有应用的情况: 单一视图…

一.Zookeeper简介 Zookeeper 是一个开源的分布式协调服务,目前由 Apache 进行维护.Zookeeper 可以用于实现分布式系统中常见的发布/订阅.负载均衡.命令服务.分布式协调/通知.集群管理.Master 选举.分布式锁和分布式队列等功能.它具有以下特性: 顺序一致性:从一个客户端发起的事务请求,最终都会严格按照其发起顺序被应用到 Zookeeper 中: 原子性:所有事务请求的处理结果在整个集群中所有机器上都是一致的:不存在部分机器应用了该事务,而另一部分没有应用的情…

Docker核心概念: Docker Daemon Docker Container Docker Registry Docker Client 通过rest API 和Docker Daemon进程进行交互,控制Container的启动,运行和关闭.Daemon会向Registry拉image.…

简介 Apache NiFi 是一个易于使用.功能强大而且可靠的数据拉取.数据处理和分发系统,用于自动化管理系统间的数据流. 它支持高度可配置的指示图的数据路由.转换和系统中介逻辑,支持从多种数据源动态拉取数据. NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一 NiFi基于Web方式工作,后台在服务器上进行调度. 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理引擎.任务…

一.简介 Hive是一个构建在Hadoop之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类SQL查询功能,用于查询的SQL语句会被转化为MapReduce作业,然后提交到Hadoop上运行. 特点: 简单.容易上手(提供了类似sql的查询语言hql),使得精通sql但是不了解Java编程的人也能很好地进行大数据分析: 灵活性高,可以自定义用户函数(UDF)和存储格式: 为超大的数据集设计的计算和存储能力,集群扩展容易; 统一的元数据管理,可与presto/impala/sparksql…

一.简介 Hive 是一个构建在 Hadoop 之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类 SQL 查询功能,用于查询的 SQL 语句会被转化为 MapReduce 作业,然后提交到 Hadoop 上运行. 特点: 简单.容易上手 (提供了类似 sql 的查询语言 hql),使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析: 灵活性高,可以自定义用户函数 (UDF) 和存储格式: 为超大的数据集设计的计算和存储能力,集群扩展容易; 统一的元数据管理,可与…

Docker简介 Docker是开源应用容器引擎,轻量级容器技术. 基于Go语言,并遵循Apache2.0协议开源 Docker可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的Linux系统上,也可以实现虚拟化 容器完全使用沙箱技术,相互之间不会有任何接口 类似于虚拟机技术(vmware.vitural),但docker直接运行在操作系统(Linux)上,而不是运行在虚拟机中,速度快,性能开销极低 白话文,简介就是: Docker支持将软件编译成一个镜像,然…

Kubernetes简介 Kubernetes是谷歌严格保密十几年的秘密武器-Borg的一个开源版本,是Docker分布式系统解决方案.2014年由Google公司启动. Kubernetes提供了面向应用的容器集群部署和管理系统.Kubernetes的目标旨在消除编排物理/虚拟计算,网络和存储基础设施的负担,并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营.Kubernetes 也提供稳定.兼容的基础(平台),用于构建定制化的workflows 和更高级的自动化任务.…