Hadoop学习(一) 搭建伪分布式集群

文章结构

1.准备工作

　　1.1 配置IP

　　1.2 关闭防火墙

　　1.3 修改主机名并与IP绑定

　　1.4 创建新用户

　　1.5 配置免密匙

2.安装并配置Hadoop伪分布式集群　　

　　2.1 安装Java

　　2.2 安装配置Hadoop伪分布式集群

1.准备工作

　　1.1 配置IP

　　　　首先进入该路径下 cd /etc/sysconfig/network-scripts，找到 ifcfg-eth0 这个文件

　　　　　　编辑  ifcfg-eth0  ，配置IP地址，跟自己主机地址相对应　

　　　　关闭虚拟机，将网络适配器改为桥接模式

　　1.2 关闭防火墙

　　

　　1.3 修改主机名并于IP绑定

　　1.4 创建新用户

　　1.5 配置免密匙

　　首先执行 ssh-keygen -t rsa 然后一直回车

然后进入生成的文件下 cp id_rsa.pub authorized_keys

验证一下 ssh hadooptest

2.安装并配置Hadoop伪分布式集群

　　首先创建一个目录 software 用于存放我们上传的文件

　　然后使用远程工具将我们需要的安装包上传到该目录下

　　2.1 安装Java

　　将压缩包解压 tar -zxvf jdk

　　配置环境变量　　vim ~/.bash_profile

　　使环境变量生效　　source ~/.bash_profile

　　验证　　java -version

　　2.2 安装配置Hadoop伪分布式集群

　　将 Hadoop 压缩包解压 tar -zxvf hadoop

　

　配置核心文件　　hadoop-env.sh　　core-site.xml　　hdfs-site.xml　　mapred-site.xml　　yarn-site.xml　　workers

　　hadoop-env.sh 文件内容

　　core-site.xml 文件内容

　　首先在安装目录下创建一个新目录 hadooptmp

　　文件内容

　　 hdfs-site.xml文件内容

　　mapred-site.xml 文件内容

　　yarn-sie.xml 文件内容

　　workers 文件内容

　　

　　配置环境变量　　vim ~/.bash_profile

　　格式化Hadoop　　hadoop namenode -format

　　启动Hadoop　　   start-all.sh