hadoop安装要领

1、安装JDK
tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/
vi ~/.bash_profile
JAVA_HOME=/root/training/jdk1.7.0_75
export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH
export PATH
source ~/.bash_profile

修改这个vi /etc/selinux/config SELINUX=disabled

可以查看环境变量 vi /etc/profile

Hadoop配置环境

vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.4.1
export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

使环境变量生效：
source ~/.bash_profile

修改 cd training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
27 #export JAVA_HOME=${JAVA_HOME}
28 export JAVA_HOME=/root/training/jdk1.7.0_75

可以写一个例子进行测试
I love Beijing
I love China
Beijing is the capital of China

运行：hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount ~/data/input/data.txt ~/data/output

安装伪分布模式

<!--数据的冗余度-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!--NameNode的地址-->
<!--9000:RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.106.2:9000</value>
</property>

<!--配置数据在dataNode上保存的位置-->
<!---默认:linux的tmp目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.4.1/tmp</value>
</property>

<!--ResourceManager运行的框架-->
<!---洗牌MR运行的方式-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.137.111</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

(*) 对HDFS格式化
hdfs namenode -format

启动Hadoop
start-all.sh

-------------免登陆配置------------------
1、产生密钥对
ssh-keygen -t rsa

2、公钥给别人
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.137.111

改名：.ssh/authorized_keys

/root/training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
可以更改缓存