Hadoop单点伪分布模式安装

Hadoop单点伪分布模式安装

概述

单点

single-node，单节点，即一台计算机。

伪分布式模式

pseudo-distributed mode

所谓集群，表面上看是多台计算机联合完成任务；但本质上是由分布到很多计算机上的很多进程联合完成任务的。因为多台计算机部署比较复杂，需要的硬件配置也比较高，故障率也比较高，所以就产生了伪分布的需求，即在一台计算机上运行本应该分布到多台计算机上的进程。伪分布模式有利于快速体验Hadoop的特性或简化开发调试过程。

安装JDK

略

点击打开链接

生成SSH密钥对

ssh-keygen -t rsa                 

#一路回车即可

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

#将生成的公钥添加到授权公钥中

设置主机解析

打开/etc/hosts，全部内容修改为：

127.0.0.1   localhost

::1localhost

127.0.0.1centos

重启

shutdown -r now

测试

ssh centos

提示时输入yes，没有出错即是成功

安装Hadoop

安装

到Hadoop官方下载 hadoop-xxx.tar.gz（选择稳定版）

上传到 /usr/tmp

解压提取 tar zxvf hadoop-xxx.tar.gz

将得到的/usr/tmp/hadoop-xxx…移动到/usr/share/hadoop中

修改Hadoop配置文件

1)打开Hadoop目录中etc/hadoop/hadoop-env.sh，找到并修改JAVA_HOME变量

# The java implementation to use.

export JAVA_HOME=/usr/share/jdk1.8.0_144
   #指定JDK安装位置

2)打开Hadoop目录中etc/hadoop/core-site.xml，修改为

<configuration>

    <property>

        <name>fs.defaultFS</name>              

        <value>hdfs://centos:9000</value>

    </property>

</configuration>

3) 打开Hadoop目录中etc/hadoop/hdfs-site.xml，修改为

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

配置环境变量

打开/etc/profile，在最后添加(最外层的etc下面)

#Hadoop

export HADOOP_HOME=/usr/share/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

重新执行使新环境变是生效

source /etc/profile

格式化和启动HDFS 

格式化

在Hadoop目录中运行（最外层的hadoop文件夹）

hdfs namenode -format

没有ERROR就是成功

启动

start-dfs.sh

测试

hdfs dfs -mkdir /temp

hdfs dfs -ls /

应该打印出一条文件夹记录