Hadoop入门 运行环境搭建

模板虚拟机

目录

• 模板虚拟机
  • 1 硬件
  • 2 操作系统
  • 3 IP地址和主机名称
    • vm
    • windows10
    • Hadoop100服务器
  • 远程访问工具
  • 其他准备
• 克隆虚拟机
  • 克隆
  • 修改主机名/ip
• 安装jdk
  • 1 上传jdk和hadoop安装包
  • 2 解压安装包进module文件夹下
  • 3 配置JDK环境变量
• 安装hadoop
  • 1 解压安装包进module文件夹下
  • 2 配置环境变量

1 硬件

说明:

1.hadoop100.vmdk生成的物理磁盘文件,为了方便管理放在hadoop100文件夹下。

2 操作系统

磁盘分区：选择自定义-点击完成-进行分区

/boot 文件系统选ext4



swap 当内存不够时由此区域冒充硬盘

网络和主机名

3 IP地址和主机名称

需要进行三个地方的ip地址配置:Hadoop100 服务器、vm、windows服务器

修改的目的:宿主机windows和虚拟机linux能够进行网路连接,同时虚拟机linux可以通过宿主机window进入互联网

vm

子网IP192.168.10.0 网关IP192.168.10.2

编辑器 - 虚拟网络编辑器

虚拟网卡网关需要和真实网卡网关一致

windows10

IP地址192.168.10.1

修改默认网关192.168.10.2,首选DNS服务器192.168.10.2

Hadoop100服务器

配置网卡

配置静态IP地址192.168.10.100,默认网关192.168.10.2,DNS192.168.10.2

作用:因为服务器的ip总是不变的，

命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33

# 1 按esc切换模式 ins插入
:wq  # 输入:wq退出文件

# 2 配置IP地址
# IP地址的配置方法[static(静态分配)|none(不使用协议)|bootp(bootp协议)|dhcp(DHCP协议)]
# 默认是DHCP动态分配的
BOOTPROTO=static
IPADDR=192.168.10.100 # IP设置
GATEWAY=192.168.10.2 # 网关
DNS1=192.168.10.2 #DNS配置成和网关一样的
NETMASK=255.255.255.0

配置主机名及地址映射

作用:修改主机名为一系列有规律的主机名(方便管理)，并修改hosts文件添加我们需要的主机名和地址映射(方便节点服务器间通过主机名进行通讯)

修改主机名

vim /etc/hostname

修改主机名为Hadoop100,在安装桌面系统的时候已经修改了，这里就不修改啦

修改主机名和地址映射

vim /etc/hosts

通过主机名通讯时,先会去该机的hosts文件找该主机名的ip，(DNS DomainNameSystem 域名系统的规则一层一层找)

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

需求:希望windows可以通过主机名来连接centos

补充:如果是linux主机间.则修改的文件是/etc/hosts

修改windows的主机映射文件(hosts文件)

1.进入c/windows/System32/drivers/etc文件

2.复制hosts文件到桌面

3.打开桌面的hosts文件并添加如下内容

192.168.10.100 hadoop100

4.用桌面上的hosts文件覆盖c/windows/System32/drivers/etc路径中的hosts文件

使用主机名连接

检查

命令:ifconfig

说明:显示或设置网络设备

ping 目的主机

说明:ping测试主机之间网络连通信,测试当前服务器是否可以连接目的主机

hostname

说明:查看主机名

远程访问工具

服务器一般放在机房，我们需要远程访问服务器。

使用的是Xshell，连接hadoop100

把windows的文件传进linux里 xftp

Xshell使用卡一卡的，最后选择使用SecureCRT

其他准备

1 epel-release安装

一个软件仓库，大多数rpm包在官方repository中找不到，所以需要额外安装一个软件仓库

yum install -y epel-release

最小系统版还需要安装

• net-tool 工具包集合，包含ifconfig等命令
• vim 编辑器

yum install -y net-tools
yum install -y vim

2 关闭防火墙

通常单个服务器的防火墙是关闭的，整体对外会设置非常安全的防火墙

# 关闭防火墙
systemctl stop firewalld
# 关闭开机自启防火墙
systemctl disable firewalld.service

3 用户配置管理员权限

目的:方便后期sudo执行root权限的命令。

root用户进行配置，不然会权限不够

vim /etc/sudoers

# 在%wheel行下添加
ranan ALL=(ALL) NOPASSWD:ALL

这行添加不要直接放在root行下面。因为所有用户都属于wheel组，先执行了这行免密后，执行到wheel时，又会被覆盖回需要密码。

/opt/module 用于存放安装的软件

/opt/software 用于存放安装包

4 卸载虚拟机自带的JDK

桌面版本会默认自动安装JDK

rpm -qa | grep -i java | xargs -nl rpm -e --nodeps

rpm -qa：查看所安装的所有rpm软件包

grep -i：忽略大小写

xargs -nl：表示每次只传递一个参数

rpm -e --nodeps:强制卸载软件

rpm -qa | grep -i java执行之后发现查不出东西,我的虚拟机没有安装

最后reboot重启

克隆虚拟机

利用模板及hadoop100，克隆三台虚拟机:hadoop102 hadoop103 hadoop104

克隆

修改主机名/ip

以102为例子

修改IP地址

配置静态IP地址192.168.10.102

命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名

命令:vim /etc/hostname

最后reboot

安装jdk

在hadoop102上安装JDK，因为通常103、104上的JDK是从102上拷贝，所以不需要单独在103、104上安装JDK

1 上传jdk和hadoop安装包

SecureCRT上传文件

2 解压安装包进module文件夹下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3 配置JDK环境变量

方便使用到JDK的程序能正常调用JDK

1.进入到JDK后，获取JDK路径 /opt/module/jdk1.8.0_212

2.新建环境变量文件

/etc/profile文件，该文件属于root用户，如果其他用户需要使用sudo vim命令对它进行编辑

profile文件



profile.d目录

按照这个原理，我们自己新建一个my_env.sh文件

3.修改文件后，需要执行source命令使修改后的文件生效

安装hadoop

1 解压安装包进module文件夹下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2 配置环境变量

文件路径:/opt/module/hadoop-3.1.3

修改配置文件: vim /etc/profile.d/my_env.sh

修改后执行source /etc/profile使其生效