Apache hadoop安装配置

1.网络中继更改问题

命令：   vi /etc/sysconfig/network-scripts/ifcfg-eth0

需要修改的代码

DEVICE=eth0

HWADDR=00:0C:29:11:02:E8

TYPE=Ethernet

UUID=c1038317-21f4-4251-a68f-0962fd644cab

NBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

IPADDR=192.168.17.238

GATEWAY=192.168.17.1

NDS1=114.114.114.114

IPV6INIT=NO

       2.hadoop 环境配置问题

1.修改主机名称

命令：vi /etc/hosts

 2.配置java ，hadoop环境变量

命令：vi/etc/prifile

#java

JAVA_HOME=/jdk1.7.0_79

JAVA_BIN=/jdk1.7.0_79/bin

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

#hadoop

export HADOOP_HOME=/home/hadoop-2.5.2

export PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/

 

        3关闭防火墙

service iptables stop

chkconfig iptables off

3.1修改配置文件

vi  /etc/selinux/config

修改为：

SELINUX=disabled

  4.ssh免密设置

下载 ssh服务

命令：yum -y install openssh-clients

生成ssh密匙：

ssh-keygen -t rsa

进入根目录：命令： cd~;

cd .ssh

ls 查看文件

将文件  id_rsa.hub 考入： 命令：cat id_rsa.pub  >>authorized_keys

将 datanode节点上的 id_rsa.hub 考入 命令

ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys

将文件发送到datanode节点：

[root@namenode ~]# scp authorized_keys datanode1:~/.ssh

测试 ssh datanode1 免密登陆到datanode1主机

至此 前期配置完成

5 新建组和用户

groupadd hadoop

useradd -g hadoop hadoop

Passwd hadoop

 6解压hadoop2-2-*到home/hadoop下

tar -xzvf hadoop *    /home/hadoop

配置五个文件

Cd   /home/hodoop/hadoop2-***/etc/hadoop/

Ll 列举文件下内容

nameNode、dataNodes都需要配置

cd hadoop-2.5.2/etc/hadoop

6.1 vi core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>  //这里写入的文件夹要手动创建

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.131.7:9000</value> //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

</configuration>

mkdir -p $HOME/dfs/name

mkdir -p $HOME/dfs/data

6.2 vi hdfs-site.xml

<configuration>

<property>

<name>dfs.nameservices</name>

<value>hadoop-cluster1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>192.168.131.7:50090</value>     //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///home/hadoop/dfs/name</value>   //这里写入的文件夹要手动创建

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/dfs/data</value>  //这里写入的文件夹要手动创建

</property>

<property>

<name>dfs.replication</name>

<value>2</value>   //有多少台节点就写多少

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

6.3 vi mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>  //这是hadoop对原有第一代M/R计算模型的改进版框架yarn

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>192.168.131.7:50030</value>     //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>192.168.131.7:10020</value>    //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>192.168.131.7:19888</value>     //这里的ip地址写入的是master的ip地址

</property>

</configuration>

6.4 vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>192.168.131.7:8032</value>    //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>192.168.131.7:8030</value>    //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>192.168.131.7:8031</value>    //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>192.168.131.7:8033</value>    //这里的ip地址写入的是master的ip地址

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>192.168.131.7:8088</value>   //这里的ip地址写入的是master的ip地址

</property>

</configuration>

vi slaves

192.168.79.101

192.168.79.102

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk1.7.0_06

vi yarn-env.sh

export JAVA_HOME=/opt/jdk1.7.0_06

在一台机器上配置完后，可批量复制至另外的机器

scp yarn-site.xml mapred-site.xml slaves hdfs-site.xml yarn-env.sh hadoop-env.sh dataNode1:/home/hadoop/hadoop-2.5.2/etc/hadoop

scp yarn-site.xml mapred-site.xml slaves hdfs-site.xml yarn-env.sh hadoop-env.sh dataNode2:/home/hadoop/hadoop-2.5.2/etc/hadoop

7 格式化文件系统

hdfs namenode –format

8 启动和关闭

在master机器的hadoop目录下执行：

sbin/start-all.sh   等同于运行start-dfs.sh和start-yarn.sh

sbin/stop-all.sh   等同于运行stop-dfs.sh和stop-yarn.sh

如果启动报错：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Starting namenodes on [nameNode]

去这个地址下载相应版本的本地库：

http://dl.bintray.com/sequenceiq/sequenceiq-bin/

解压：tar -xvf hadoop-native-64-2.5.2.tar -C  /home/hadoop/hadoop-2.5.2/lib/native/

scp * dataNode1:/home/hadoop/hadoop-2.5.2/lib/native/

scp * dataNode2:/home/hadoop/hadoop-2.5.2/lib/native/

再检查环境变量是否设置：

export JAVA_LIBRARY_PATH=/home/hadoop/hadoop-2.5.2/lib/native/

9查看启动的进程

Jps

10 测试访问

http://192.168.79.100:50070/  查看hdfs节点信息和文件系统，10.0.1.100是master的ip地址

http:// 192.168.79.100:8088/   查看map/reduce的job调用情况

报错处理

如果出现：put: File /user/hadoop/input/mapred-site.xml._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s) are excluded in this operation.

需要关闭所有节点的防火墙。