[徐培成系列实战课程]docker篇

[徐培成系列实战课程]docker篇

如何利用docker快速构建Spark独立模式的集群

1、介绍

利用docker容器技术快速构建跨节点的独立模型的Spark大数据集群。Spark是时下非常热门的大数据计算引擎，现在apche官方网站已经更新至2.3.1的版本，而且热度居高不下。很多企业越来越多的倾向于使用spark进行海量数据处理，主要是源于其高效快速的架构设计。

docker也是非常热门的虚拟化技术，而且发展趋势也是越来越强大，源于其超轻量级的部署和低资源消耗著称，对于大数据从业人群，两者组合可以说是技术发展的利器。更是大数据运维人员的渴求的技术。

2、目标

本次课程的主要目标就是在docker容器上部署spark集群，实验环境使用win7操作系统，安装vmware虚拟机软件，在wmare中安装2两台centos7的客户机操作系统，在每个客户机操作系统中安装docker进行二次虚拟机化，并在每台客户机的centos7操作系统中启动docker容器，分别安装部署spark，组件独立模式下的spark集群，能够实现跨节点的容器间通信，网络模式使用macvlan方式，摒弃繁琐的端口映射方式，使集群更加容易管理和扩展。