hadoop伪分布式平台搭建

1. 安装jdk1.7

JAVA_HOME=/home/hadoop/app/jdk1.7.0

vi /etc/profile.d

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

source /etc/profile.d

2.ssh免密码登陆

service iptables status

chkconfig iptables off

yum install -y openssh-clients

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

chmod 700 .ssh

chmod 600 .ssh/*

3.chown -R hadoop:hadoop hadoop /data

修改core-site.xml  hdfs-site.xml mapred-site.xml yarn-site.xml slaves

HADOOP_HOME=/usr/java/hadoop

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME PATH

4.

bin/hadoop namenode -format

sbin/start-all.sh

jps

hadoop fs -ls /

hadoop fs -mkdir /test

hadoop fs -put 1.txt /test/1.txt

如果hadoop集群作业运行过程中出现问题怎么办？

可以查看作业运行日志，而且是userlogs目录中最大编号的文件目录。