1 在虚拟机安装 Ubuntu

2 安装网络工具

Ubuntu最小化安装没有 ifconfig命令

sudo apt-get install net-tools

3 Ubuntu修改网卡名字

修改网卡名字为eth0

sudo vim /etc/network/interfaces

reboot

4 修改主机名

sudo vim /etc/hosts

最后还要分别修改  /etc/hostname

reboot

5 修改IP地址

在虚拟机的虚拟机编辑选项->虚拟网络网络编辑器->nat模式->更改设置->根据自己主机的网络改子网

reboot

6 设置 DNS 解析

不需解析

7 修改 hosts 文件

sudo vim /etc/hosts

8 将yum源改为阿里云

8.1先备份

8.2打开文件设置

sudo vim /etc/apt/sources.list

8.3更新

sudo apt-get update

 9 安装配置JDK

9.1 检查是否已经安装

下载JDK,将JDK拉到桌面

9.2 安装JDK包到下列文件

alien -ivh --prefix=/usr/apps jdk-8u201-linux-x64.rpm

9.3配置环境变量

sudo vim /etc/profile

10 克隆节点

 

如下图克隆出nobe3和nobe4

10.1修改新节点的IP

 根据步骤七修改

10.2修改主机名

步骤四

10.3其他节点进行类似操作

11  配置免密登录

11.1 生成密钥对

ssh-keygen

11.2下载openssh-server

sudo apt-get install openssh-server

11.3将密钥对配置到node2 node3 和node4

 12 添加Hadoop 用户

四个节点同时操作

sudo useradd hadoop

vsudo passwd hadoop

12.1为Hadoop用户添加sudo 权限

sudo vim /etc/sudoers

13 配置Hadoop

13.1安装文件上传工具

yum - y install lrzsz

13.2 在 /home/xue目录下新建apps文件夹,将源码压缩包上传到apps文件里

sudo mkdir /home/xue/apps

13.3解压

 tar -zxvf /home/xue/apps/hadoop-2.7.7.tar.gz

13.4 配置Hadoop环境变量

sudo vim /etc/profile

 #set hadoop environment
export HADOOP_HOME=/home/xue/apps/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

13.5 将配置文件拷贝到node3,node4中

sudo scp /etc/profile node3:/etc/

13.6 同时操作所有节点,重新加载配置文件

source /etc/profile

13.7 配置各类 xml 文件

配置文件在所在目录 /home/xue/apps/hadoop-2.7.7/etc/hadoop

13.7.1 配置hadoop-env.sh

添加  JAVA_HOME=/usr/apps/javajdk1.8.0_181-amd64

13.7.2 配置 core-site.xml

13.7.3 配置 hdfs-site.xml

13.7.4 配置 mapred-site.xml.template

将 mapred-site.xml.template 修改 为 mapred-site.xml

13.7.5 配置 yarn-site.xml

13.7.6 修改slaves文件

13.8 把配置文件分发到各个节点

    scp -r apps node3:/home/xue/

13.9 格式化 NameNode

hdfs namenode -format

13.10 测试安装

13.10.1 将hadoop主目录授权给当前用户(各节点都操作一次)

   sudo chown -R xue /home/xue/hadoop

13.10.2 启动 HDFS

start-dfs.sh

13.10.3 启动  YARN

start-yarn.sh

14 完成最后步骤

14.1 网页管理界面

将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件

14.2 登陆

在浏览器上登陆HDFS ,http://node2:50070

win10虚拟机搭建Hadoop集群(已完结)的更多相关文章

  1. virtualbox 虚拟3台虚拟机搭建hadoop集群

    用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己 ...

  2. 虚拟机搭建Hadoop集群

    安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x ...

  3. Mac上使用虚拟机搭建Hadoop集群

    一. mini安装一台centos到虚拟机上 安装过程参考这篇博客http://www.linuxdown.net/install/setup/2015/0906/4053.html 二. 修改网络配 ...

  4. 配置ssh免密登录遇到的问题——使用VMware多虚拟机搭建Hadoop集群

    搭建环境: 虚拟机 VMware12Pro      操作系统  centos6.8        hadoop 1.2.1 1.导入镜像文件,添加java环境 1.查看当前系统中安装的java,ls ...

  5. 使用Docker搭建Hadoop集群(伪分布式与完全分布式)

    之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...

  6. 基于Docker快速搭建多节点Hadoop集群--已验证

    Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop ...

  7. spark集群搭建(三台虚拟机)——hadoop集群搭建(2)

    !!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0. ...

  8. 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群

    本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...

  9. 搭建Hadoop集群 (三)

    通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种D ...

随机推荐

  1. Tido 习题-二叉树-最高分

    题目描述 老师想知道从某某同学到某某同学当中,分数最高的是多少.现在请你编程模拟老师的询问.当然,老师有时候需要更新某位同学的成绩. 输入 输入包含多组测试数据.每组输入第一行是两个正整数N和M(0& ...

  2. Spring源码阅读-IoC容器解析

    目录 Spring IoC容器 ApplicationContext设计解析 BeanFactory ListableBeanFactory HierarchicalBeanFactory Messa ...

  3. Hadoop 学习之路(五)—— Hadoop集群环境搭建

    一.集群规划 这里搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManager服务,但只有hadoop001上部署NameNode和ResourceManager服务. ...

  4. kubernetes实战篇之Dashboard的访问权限限制

    系列目录 前面我们的示例中,我们创建的ServiceAccount是与cluster-admin 绑定的,这个用户默认有最高的权限,实际生产环境中,往往需要对不同运维人员赋预不同的权限.而根据实际情况 ...

  5. Mac 简单切换jdk版本

    https://www.cnblogs.com/c-xiaohai/p/6985018.html dmg安装包安装 vim ~/.bash_profile_jdk export JAVA_8_HOME ...

  6. docker开启2376端口CA认证及IDEA中一键部署docker项目

    嘿,大家好,今天更新的内容是docker开启2376端口CA认证及IDEA中一键部署docker项目... 先看效果 我们可以通过idea一键部署docker项目,还以通过idea的控制台实时查看容器 ...

  7. centos7 中安装 htop

    首先启用 EPEL Repository: yum install -y epel-release 启用 EPEL Repository 后, 可以用 yum 直接安裝 Htop: yum insta ...

  8. golang 单元测试&&性能测试

    一:单元测试 1.为什么要做单元测试和性能测试 减少bug 快速定位bug 减少调试时间 提高代码质量 2.golang的单元测试 单元测试代码的go文件必须以_test.go结尾 单元测试的函数名必 ...

  9. git rebase VS git merge? 更优雅的 git 合并方式值得拥有

    写在前面 如果你不能很好的应用 Git,那么这里为你提供一个非常棒的 Git 在线练习工具 Git Online ,你可以更直观的看到你所使用的命令会产生什么效果 另外,你在使用 Git 合并分支时只 ...

  10. ecshop数据库结构和字段介绍(转载)

    ecs_account_log:账户变动日志(注册用户充值.支付等记录信息)字段 类型 Null 默认 字段说明log_id mediumint(8) 否 无 日志IDuser_id mediumin ...