搭建docker hadoop环境

搭建Docker-Hadoop基础环境

目录

• 搭建Docker-Hadoop基础环境
  • 简介
  • 步骤
    • 搭建Docker image
    • ..待续
  • 注释

简介

因为很难真正的有一个集群环境。在一般的条件下想要模拟hadoop集群的话，我只好选择docker

关于docker的简介我就不在这里写了。

详细可以看 http://www.docker.com ^[1]

我的项目地址 http://git.oschina.net/dark.H/DDataAny

Dockerfile 文件和必要的打包文件都在我的项目里面

步骤

搭建Docker image

hadoop我使用的基础image是 ubuntu ，

其实主要需要的环境如下

• JDK#7
• hadoop#2.6
• ssh

所以在基础的 images中我们需要做的是把上述的依赖安装上

其次配置一下环境

• 安装docker

首先需要安装 docker

apt-get install  docker-io lxc

安装完后一般会默认配置好网卡创建一个用作docker 的集群使用的子网。但如果有问题的话，需要自己手动配置

# 主要就是一下两条就可以完成配置，具体参见我的其他blog,或者google ，baidu
 ip route add xxx
 ip addr add xxx

• 下载一个ubuntu images

docker pull ubuntu

或者使用我的ubuntu

wget -q  http://git.oschina.net/dark.H/DDataAny/tree/master/resource/ubuntu.tar && sleep 1 && cut ubuntu.tar | docker load

• 使用Dockerfile 生成新的包含所有依赖的image

通过一个较小的ubuntu image 和dockerfile 生成一个新的image 我们取名为 qingluan/hadoop

docker build -t qingluan/hadoop

..待续

注释

---

1. 这个网址在国外。。部分地区访问可能需要翻墙 ↩︎