win10虚拟机搭建Hadoop集群(已完结)
1 在虚拟机安装 Ubuntu
2 安装网络工具
Ubuntu最小化安装没有 ifconfig命令
sudo apt-get install net-tools
3 Ubuntu修改网卡名字
修改网卡名字为eth0
sudo vim /etc/network/interfaces
reboot
4 修改主机名
sudo vim /etc/hosts
最后还要分别修改 /etc/hostname
reboot
5 修改IP地址
在虚拟机的虚拟机编辑选项->虚拟网络网络编辑器->nat模式->更改设置->根据自己主机的网络改子网
reboot
6 设置 DNS 解析
不需解析
7 修改 hosts 文件
sudo vim /etc/hosts
8 将yum源改为阿里云
8.1先备份
8.2打开文件设置
sudo vim /etc/apt/sources.list
8.3更新
sudo apt-get update
9 安装配置JDK
9.1 检查是否已经安装
下载JDK,将JDK拉到桌面
9.2 安装JDK包到下列文件
alien -ivh --prefix=/usr/apps jdk-8u201-linux-x64.rpm
9.3配置环境变量
sudo vim /etc/profile
10 克隆节点
如下图克隆出nobe3和nobe4
10.1修改新节点的IP
根据步骤七修改
10.2修改主机名
步骤四
10.3其他节点进行类似操作
11 配置免密登录
11.1 生成密钥对
ssh-keygen
11.2下载openssh-server
sudo apt-get install openssh-server
11.3将密钥对配置到node2 node3 和node4
12 添加Hadoop 用户
四个节点同时操作
sudo useradd hadoop
vsudo passwd hadoop
12.1为Hadoop用户添加sudo 权限
sudo vim /etc/sudoers
13 配置Hadoop
13.1安装文件上传工具
yum - y install lrzsz
13.2 在 /home/xue目录下新建apps文件夹,将源码压缩包上传到apps文件里
sudo mkdir /home/xue/apps
13.3解压

13.4 配置Hadoop环境变量
sudo vim /etc/profile
export HADOOP_HOME=/home/xu

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
13.5 将配置文件拷贝到node3,node4中
sudo scp /etc/profile node3:/etc/
13.6 同时操作所有节点,重新加载配置文件
source /etc/profile
13.7 配置各类 xml 文件
配置文件在所在目录 /home/xue/apps/hadoop-2.7.7/etc/hadoop
13.7.1 配置hadoop-env.sh
添加 JAVA_HOME=/usr/apps/javajdk1.8.0_181-amd64
13.7.2 配置 core-site.xml
13.7.3 配置 hdfs-site.xml
13.7.4 配置 mapred-site.xml.template
将 mapred-site.xml.template 修改 为 mapred-site.xml
13.7.5 配置 yarn-site.xml
13.7.6 修改slaves文件
13.8 把配置文件分发到各个节点

13.9 格式化 NameNode
hdfs namenode -format
13.10 测试安装
13.10.1 将hadoop主目录授权给当前用户(各节点都操作一次)

13.10.2 启动 HDFS
start-dfs.sh
13.10.3 启动 YARN
start-yarn.sh
14 完成最后步骤
14.1 网页管理界面
将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件
14.2 登陆
在浏览器上登陆HDFS ,http://node2:50070
win10虚拟机搭建Hadoop集群(已完结)的更多相关文章
- virtualbox 虚拟3台虚拟机搭建hadoop集群
用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己 ...
- 虚拟机搭建Hadoop集群
安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x ...
- Mac上使用虚拟机搭建Hadoop集群
一. mini安装一台centos到虚拟机上 安装过程参考这篇博客http://www.linuxdown.net/install/setup/2015/0906/4053.html 二. 修改网络配 ...
- 配置ssh免密登录遇到的问题——使用VMware多虚拟机搭建Hadoop集群
搭建环境: 虚拟机 VMware12Pro 操作系统 centos6.8 hadoop 1.2.1 1.导入镜像文件,添加java环境 1.查看当前系统中安装的java,ls ...
- 使用Docker搭建Hadoop集群(伪分布式与完全分布式)
之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...
- 基于Docker快速搭建多节点Hadoop集群--已验证
Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop ...
- spark集群搭建(三台虚拟机)——hadoop集群搭建(2)
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0. ...
- 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群
本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...
- 搭建Hadoop集群 (三)
通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种D ...
随机推荐
- Tido 习题-二叉树-最高分
题目描述 老师想知道从某某同学到某某同学当中,分数最高的是多少.现在请你编程模拟老师的询问.当然,老师有时候需要更新某位同学的成绩. 输入 输入包含多组测试数据.每组输入第一行是两个正整数N和M(0& ...
- Spring源码阅读-IoC容器解析
目录 Spring IoC容器 ApplicationContext设计解析 BeanFactory ListableBeanFactory HierarchicalBeanFactory Messa ...
- Hadoop 学习之路(五)—— Hadoop集群环境搭建
一.集群规划 这里搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManager服务,但只有hadoop001上部署NameNode和ResourceManager服务. ...
- kubernetes实战篇之Dashboard的访问权限限制
系列目录 前面我们的示例中,我们创建的ServiceAccount是与cluster-admin 绑定的,这个用户默认有最高的权限,实际生产环境中,往往需要对不同运维人员赋预不同的权限.而根据实际情况 ...
- Mac 简单切换jdk版本
https://www.cnblogs.com/c-xiaohai/p/6985018.html dmg安装包安装 vim ~/.bash_profile_jdk export JAVA_8_HOME ...
- docker开启2376端口CA认证及IDEA中一键部署docker项目
嘿,大家好,今天更新的内容是docker开启2376端口CA认证及IDEA中一键部署docker项目... 先看效果 我们可以通过idea一键部署docker项目,还以通过idea的控制台实时查看容器 ...
- centos7 中安装 htop
首先启用 EPEL Repository: yum install -y epel-release 启用 EPEL Repository 后, 可以用 yum 直接安裝 Htop: yum insta ...
- golang 单元测试&&性能测试
一:单元测试 1.为什么要做单元测试和性能测试 减少bug 快速定位bug 减少调试时间 提高代码质量 2.golang的单元测试 单元测试代码的go文件必须以_test.go结尾 单元测试的函数名必 ...
- git rebase VS git merge? 更优雅的 git 合并方式值得拥有
写在前面 如果你不能很好的应用 Git,那么这里为你提供一个非常棒的 Git 在线练习工具 Git Online ,你可以更直观的看到你所使用的命令会产生什么效果 另外,你在使用 Git 合并分支时只 ...
- ecshop数据库结构和字段介绍(转载)
ecs_account_log:账户变动日志(注册用户充值.支付等记录信息)字段 类型 Null 默认 字段说明log_id mediumint(8) 否 无 日志IDuser_id mediumin ...