centos7搭建伪分布式集群

centos7搭建伪分布式集群

需要

　　centos7虚拟机一台；

　　jdk-linux安装包一个

　　hadoop-2.x安装包1个（推荐2.7.x）

一、设置虚拟机网络为静态IP（最好设成静态，为之后编程提供方便，不设置静态ip也可以）

1、进入网络配置查看ip

2、选择NAT模式链连接

3、点击NAT设置，记住网关IP，后面要用到

4、进入终端，输入命令： cd  /etc/sysconfig/network-scripts,然后 vim ./ifcfg-eth0,（有的虚拟机是文件是：ifcfg-ens33）并进行如下设置，

【IPADDR为静态ip地址，格式必须与网关IP的前三位一样：192.168.13.X】 X在1-255之间

GATWAY是之前记得的网关IP.

其他的如图所示。

5、重启网络服务：service network restart

6、网络测试：ping网关，ping外网。都能ping通表示网络正常，大功告成（前提主机联网）

成功标志如图：

二、配置ssh免密登录（开启集群服务时不必每次都输入密码）

　　1、命令：ssh-keygen    一路回车。遇到overwrite(覆盖写入)输入y

　　

　　2、将生成的密钥发送到本机地址：ssh-copy-id localhost

　　

　　3、测试是否可以免密登录。出现下图解果就OK;

　　

三、安装java环境（jdk）

1、卸载虚拟机自带的dk;　

　　确定JDK版本

　　rpm –qa | grep jdk

　　rpm –qa | grep gcj

　　

　　切换到root用户，根据结果卸载java

　　yum -y remove java-1.8.0-openjdk-headless.x86_64

　　yum -y remove java-1.7.0-openjdk-headless.x86_64

2、测试jdk是否卸载干净 java -version

　　

3、安装jdk.

　　将jdk-linux-xxx解压到某一个文件夹（记好路径，不要有中文）

　　

　　通过pwd命令查看当前路径

　　

　　 

　　

4、配置环境变量

　　在root用户下，将/etc/profile的权限赋给普通用户：chown -R zck:zck /etc/profile  (zck是我的普通用户名，不然普通用户无法修改环境变量)

　　

　　

　　转到普通用户(zck)下，修改环境变量：vim /etc/profile    （注意自己的jdk路径）

　　

　　

#java

export  JAVA_HOME=/home/hadoop/app/jdk1.8.0_141

export JAVA_JRE=JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib

export PATH=$PATH:$JAVA_HOME/bin

5、保存退出，并使/etc/profile文件生效：source  /etc/profile

6、测试jdk环境：java -version

四、安装hadoop

　　1、解压hadoop(同jdk)

　　2、配置环境变量(基本步骤与jdk一样)。

#hadoop
export HADOOP_HOME=/home/zck/software/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、测试(保存之后要source /etc/profile   不然环境变量修改不生效)

五、搭建伪分布式

修改5个配置文件

进入文件目录 ../hadoop/etc/hadoop

1、修改core-site.xml配置文件 (建议将localhost修改为你之前设置的静态ip)

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/data/tmp</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

</configuration>

2、修改hdfs-site.xml配置文件

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/data/dfs/name</value>

<final>true</final>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/data/dfs/data</value>

<final>true</final>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

3、修改hadoop-env.sh配置文件（改成jdk位置）

4、修改mapred-site.xml.template配置文件（先重命名为mapred-site.xml）

<configuration>

<property>

<name>mapreduce.frameword.name</name>

<value>yarn</value>

</property>

</configuration>

5、修改yarn-site.xml配置文件

<property>

<name>yarn.nodemanager.aux-servies</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

使修改生效，命令：sourec /etc/profile

6、格式化namenode

切回到hadoop目录，输入如下命令：bin/hdfs  namenode -format

启动hadoop伪分布式集群：sbin/start-all.sh

启动完毕输入jps查看