目录 搭建Docker-Hadoop基础环境 简介 步骤 搭建Docker image ..待续 注释 搭建Docker-Hadoop基础环境 简介 因为很难真正的有一个集群环境.在一般的条件下想要模拟hadoop集群的话,我只好选择docker 关于docker的简介我就不在这里写了. 详细可以看 http://www.docker.com 1 我的项目地址 http://git.oschina.net/dark.H/DDataAny Dockerfile 文件和必要的打包文件都在我的项目里面…

今天是8月19日,距离开学还有15天,假期作业完成还是遥遥无期,看来开学之前的恶补是躲不过了 今天总结一下在Linux环境下安装Hadoop的过程,首先是对Linux环境的配置,设置主机名称,网络设置.关闭防火墙.安装JDK.配置环境变量 免密钥登录配置:大数据集群中的Linux计算机之间需要频繁分通信,免密钥登录是指两台Linux计算机之间不需要用户名和密码的SSH链接,默认状态下,SSH链接是需要密码认证的,但是可以通过修改系统认证,使系统通信免除密码输入和SSH认证 首先终端生成密钥: s…

0x00 概述 既然 Docker 是一款实用软件,我们就不得不先从它的安装说起,只有让 Docker 运行在我们的计算机上,才能更方便我们对 Docker 相关知识和使用方式的学习.得益于与商业性的优雅结合,Docker 背后拥有大量的优秀开发者为其提供技术支持,而这个优势所造就的结果之一,就是 Docker 拥有丰富且完善的安装体系,我们可以很轻松的通过多种方式安装和运行 Docker. 0x01 安装前的准备 由于 Docker 容器实现本身就采用了 Linux 内核中很多的特性,所以它自…

单节点 单节点:https://hub.docker.com/r/cloudera/quickstart/ 相关命令 docker pull cloudera/quickstart:latest docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 500…

1.环境 系统版本:CentOS Linux release 7.4.1708 docker版本:docker-ce-18.09 主机IP:192.168.121.121 2.载入MySQL和PHP镜像 $ docker pull mysql $ docker pull php:7.2-apache 3.创建网络 $ docker network create lamp 6549dbc105bba9e51d4d0b13df7ae17916c3628f5a07c81551203fb63c15892…

前期准备: jdkhostnamehostsdate安全机制firewallwindows 域名映射 具体的操作见下面 1.看看自己是否已经配置了别名了(linux别名的配置可以参考博文:自己centos7成功的修改了主机名(记录了该改哪些文件)) 2.看看防火墙是否关闭了 CentOS 7.0默认使用的是firewall作为防火墙:若没有启用iptables 作为防火墙,则使用以下方式关闭.开启.禁用防火墙: 查看防火墙状态具体的命令 (1) firewall-cmd --state #查看防…

很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我们这里就讨论完全分布式,关于搭建工具,有hadoop+CentOs+VMware,感觉各个版本还是有一点差异的. 随后可能会整理出一个常用版本,今天先说说VM的静态IP的设置吧: 关于VM,大家可能不陌生,目前也是windows系统搭建模拟hadoop环境的必要软件之一. 但是,由于有些人会经常改变…

搭建docker本地镜像仓库并提供权限校验及UI界面 docker本地镜像仓库的作用跟maven私服差不多,特别是公司级或者是小组级开发好的docker仓库可以上传到本地镜像仓库中,需要用时,直接从本地镜像仓库中拉取镜像即可,因为镜像仓库在自己公司,可以做到安全可控了.下面介绍搭建本地镜像仓库的过程. 1.环境准备 docker本地镜像仓库本身也是一个docker镜像,为此如果需要搭建本地镜像仓库,则首先要搭建docker的环境,具体搭建docker环境的步骤,大家可以之前的一篇文章:<Cent…

系统:Centos 7,内核版本3.10 本文介绍如何从0利用Docker搭建Hadoop环境,制作的镜像文件已经分享,也可以直接使用制作好的镜像文件. 一.宿主机准备工作 0.宿主机(Centos7)安装Java(非必须,这里是为了方便搭建用于调试的伪分布式环境) 1.宿主机安装Docker并启动Docker服务 安装: yum install -y docker 启动: service docker start 二.制作Hadoop镜像 (本文制作的镜像文件已经上传,如果直接使用制作好的镜像…

docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜像,比较符合目前我的需求,镜像为搭建好的hadoop环境,见https://dev.aliyun.com/detail.html?spm=5176.1972343.2.14.Q2Swxa&repoId=4030 2.运行docker镜像 docker run -itd --name hadoop -…