一.Docker主机间容器通信的解决方案 Docker网络驱动 Overlay: 基于VXLAN封装实现Docker原生Overlay网络 Macvlan: Docker主机网卡接口逻辑上分为多个子接口,每个子接口标识一个VLAN.容器接口直接连接Docker主机 网卡接口: 通过路由策略转发到另一台Docker主机 第三方网络项目       隧道方案 -- Flannel: 支持UDP和VLAN封装传输方式 -- Weave: 支持UDP(sleeve模式)和 VXLAN(优先fastdb模

概述 自从docker容器出现以来,容器的网络通信就一直是大家关注的焦点,也是生产环境的迫切需求.而容器的网络通信又可以分为两大方面:单主机容器上的相互通信和跨主机的容器相互通信.而本文将分别针对这两方面,对容器的通信原理进行简单的分析,帮助大家更好地使用docker. docker单主机容器通信 基于对net namespace的控制,docker可以为在容器创建隔离的网络环境,在隔离的网络环境下,容器具有完全独立的网络栈,与宿主机隔离,也可以使容器共享主机或者其他容器的网络命名空间,基本可以

概述 自从docker容器出现以来,容器的网络通信就一直是大家关注的焦点,也是生产环境的迫切需求.而容器的网络通信又可以分为两大方面:单主机容器上的相互通信和跨主机的容器相互通信.而本文将分别针对这两方面,对容器的通信原理进行简单的分析,帮助大家更好地使用docker. docker单主机容器通信 基于对net namespace的控制,docker可以为在容器创建隔离的网络环境,在隔离的网络环境下,容器具有完全独立的网络栈,与宿主机隔离,也可以使容器共享主机或者其他容器的网络命名空间,基本可以

理论知识储备: 想了解vxlan网络的知识:https://www.cnblogs.com/shuiguizi/p/10923841.html 想了解docker网络的原理知识:https://www.cnblogs.com/shuiguizi/p/10922049.html 提前准备: 镜像使用centos和nginx,为了方便,将从官网上下载的镜像安装一些工具再重新commit得到新的镜像 yum install net-tools yum install iputils yum insta

一.到底在哪些地方需要使用序列化技术呢? 二.Zookeeper(分布式协调服务组件+存储系统) Java 序列化机制 Hadoop序列化机制 Zookeeper序列化机制 一.到底在哪些地方需要使用序列化技术呢? 1.当在网络中需要进行消息.数据.等的传输,那么这些数据就需要进行序列化和反序列化. 2.当数据需要从内存被持久化到磁盘的时候. 二.Zookeeper(分布式协调服务组件+存储系统) 任何一个分布式系统的底层,都必然会有网络通信,这就必然要提供一个分布式通信框架和序列化机制. Zo

PS:文章首发公众号,欢迎大家关注我的公众号:aCloudDeveloper,专注技术分享,努力打造干货分享平台,二维码在文末可以扫,谢谢大家. 上篇文章介绍了容器网络的单主机网络,本文将进一步介绍多主机网络,也就是跨主机的网络.总结下来,多主机网络解决方案包括但不限于以下几种:overlay.macvlan.flannel.weave.cacico 等,下面将分别一一介绍这几种网络, PS:本文仅从原理上对几种网络进行简单的对比总结,不涉及太多的细节. overlay 俗称隧道网络,它是基于

PS:文章首发公众号,欢迎大家关注我的公众号:aCloudDeveloper,专注技术分享,努力打造干货分享平台,二维码在文末可以扫,谢谢大家. 上篇文章介绍了容器网络的单主机网络,本文将进一步介绍多主机网络,也就是跨主机的网络.总结下来,多主机网络解决方案包括但不限于以下几种:overlay.macvlan.flannel.weave.cacico 等,下面将分别一一介绍这几种网络, PS:本文仅从原理上对几种网络进行简单的对比总结,不涉及太多的细节. overlay 俗称隧道网络,它是基于

Docker Swarm 环境搭建 swarm 使用前提 1.Docker版本1.12+ Docker升级教程:https://www.cnblogs.com/xiangsikai/p/9935894.html 2.集群节点之间保证如下端口通信: TCP 2377(管理节点与集群模式的通信manager与worker) TCP/UDP 7946(节点之前其他数据的传输) UDP 4789(overlay网络通信) 节点规划 系统:Centos 7.4 x64 应用版本:Docker 18.09.

http://jnzg905.iteye.com/blog/2269583 https://blog.csdn.net/pingpangbing0902/article/details/78238890 https://blog.csdn.net/qq_32440951/article/details/80457672 目前所知有两种方案:1.通过swarm或k8s这样的官方docker集群管理软件进行通信和管理 2.基于zookeeper配置overlay网络实现多主机互联

背景 之前写过<<docker-compose真香>> 和<docker-compose.docker stack前世今生>两篇博客, 回顾一下思路: ① docker-compose是docker引擎之上的容器编排工具,Python语言编写: docker stack 是docker引擎原生支持的容器编排技术(Go语言) ② 两者都支持最近docker-compose.yml 版本3容器编排定义文件,部分指令有差异. 昨天生产环境 .NetCore程序突然爆出错误(1

一.前言 前面已经分析了请求处理链中的多数类,接着继续分析Zookeeper中的网络通信模块. 二.总体框图 对于网络通信模块,其总体框图如下所示 说明: Stats,表示ServerCnxn上的统计数据. Watcher,表示时间处理器. ServerCnxn,表示服务器连接,表示一个从客户端到服务器的连接. NettyServerCnxn,基于Netty的连接的具体实现. NIOServerCnxn,基于NIO的连接的具体实现. 三.ServerCnxn源码分析 3.1 类的继承关系 pub

一.前言 前面介绍了ServerCnxn,下面开始学习NIOServerCnxn. 二.NIOServerCnxn源码分析 2.1 类的继承关系 public class NIOServerCnxn extends ServerCnxn {} 说明:NIOServerCnxn继承了ServerCnxn抽象类,使用NIO来处理与客户端之间的通信,使用单线程处理. 2.2 类的内部类 1. SendBufferWriter类 private class SendBufferWriter extend

一.前言 前面已经学习了NIOServerCnxn,接着继续学习NettyServerCnxn. 二.NettyServerCnxn源码分析 2.1 类的继承关系 public class NettyServerCnxn extends ServerCnxn {} 说明:NettyServerCnxn继承了ServerCnxn抽象类,使用Netty框架来高效处理与客户端之间的通信. 2.2 类的内部类 1. SendBufferWriter类 private class SendBufferWr

一.前言 前面已经学习了NIOServerCnxn,接着继续学习NettyServerCnxn. 二.NettyServerCnxn源码分析 2.1 类的继承关系 public class NettyServerCnxn extends ServerCnxn {} 说明:NettyServerCnxn继承了ServerCnxn抽象类,使用Netty框架来高效处理与客户端之间的通信. 2.2 类的内部类 1. SendBufferWriter类 private class SendBufferWr

一.前言 前面介绍了ServerCnxn,下面开始学习NIOServerCnxn. 二.NIOServerCnxn源码分析 2.1 类的继承关系 public class NIOServerCnxn extends ServerCnxn {} 说明:NIOServerCnxn继承了ServerCnxn抽象类,使用NIO来处理与客户端之间的通信,使用单线程处理. 2.2 类的内部类 1. SendBufferWriter类 private class SendBufferWriter extend

  理论上来说多台宿主机之间的docker容器之间是无法通讯的,但是多台宿主机之间的docker容器之间是可以通讯的,主要是通过VXLAN技术来实现的.   GitHub上对于docker-overlay-network的介绍. 17.1 overlay网络和etcd实现多机容器通信   docker在创建容器的时候默认会使用bridge网络,要实现多机容器间通信,需要使用overlay网络,但是要实现多机的容器通信,通信的两个容器的IP肯定不能一样,所以我们需要借助第三方的工具来实现.这里使用

Overlay网络是指在不改变现有网络基础设施的前提下,通过某种约定通信协议,把二层报文封装在IP报文之上的新的数据格式. 这样不但能够充分利用成熟的IP路由协议进程数据分发,而且在Overlay技术中采用扩展的隔离标识位数,能够突破VLAN的4000数量限制, 支持高达16M的用户,并在必要时可将广播流量转化为组播流量,避免广播数据泛滥. 因此,Overlay网络实际上是目前最主流的容器跨节点数据传输和路由方案. Overlay网络的实现方式可以有许多种,其中IETF(国际互联网工程任务组)制

前言 在Docker网络--单host网络一文中,我为大家总结了Docker的单机网络相关知识和操作,单机网络比较容易.本文我为大家总结Docker跨主机通信相关知识.同样本文大部分内容以CloudMan的相关教程为基础. 一.Docker 跨主机通信 Docker跨主机网络方案包括: docker 原生的 overlay 和 macvlan. 第三方方案:常用的包括 flannel.weave 和 calico. docker 通过 libnetwork 以及 CNM 将上述各种方案与dock

Docker Overlay 部署条件 要想使用Docker原生Overlay网络,需要满足以下任意条件: 1.Docker运行在Swarm模式 2.使用键值存储的Docker主机集群 本次部署使用键值存储的Docker主机集群,需要满足以下条件: 1. 集群中主机连接到键值存储,Docker支持Consul.Etcd和Zookeeper: 2. 集群中主机运行一个Docker守护进程: 3. 集群中主机必须具有唯一的主机名,因为键值存储使用主机名来标识集群成员: 4. 集群中Linux主机内核

一.前言 前一篇已经详细的讲解了Zookeeper的Leader选举过程,下面接着学习Zookeeper中服务器的各个角色及其细节. 二.服务器角色 2.1 Leader Leader服务器是Zookeeper集群工作的核心,其主要工作如下 (1) 事务请求的唯一调度和处理者,保证集群事务处理的顺序性. (2) 集群内部各服务器的调度者. 1. 请求处理链 使用责任链来处理每个客户端的请求时Zookeeper的特色,Leader服务器的请求处理链如下 (1) PrepRequestProcess

一.前言 前面学习了Zookeeper服务端的相关细节,其中对于集群启动而言,很重要的一部分就是Leader选举,接着就开始深入学习Leader选举. 二.Leader选举 2.1 Leader选举概述 Leader选举是保证分布式数据一致性的关键所在.当Zookeeper集群中的一台服务器出现以下两种情况之一时,需要进入Leader选举. (1) 服务器初始化启动. (2) 服务器运行期间无法和Leader保持连接. 下面就两种情况进行分析讲解. 1. 服务器启动时期的Leader选举 若进行