hadoop2.2.0伪分布模式64位安装

hadoop2.2.0伪分布模式64位安装
用到的软件：jdk-6u45-linux-x64.bin，hadoop-2.2.0.x86_64.tar.gz

修改主机名
vim /etc/sysconfig/network
HOSTNAME=h1

修改主机名和ip的映射关系
192.168.1.1 h1

关闭防火墙
chkconfig --list | grep iptables
service iptables stop
chkconfig iptables off
chkconfig --list | grep iptables

生成ssh免密码登录
[root@h1 ~]cd .ssh
ssh-keygen -t rsa
三次回车
cp id_rsa.pub authorized_keys

安装jdk-6u45-linux-x64.bin
解压jdk-6u45-linux-x64.bin到/mengyao/jdk1.6.0_45
./jdk-6u45-linux-x64.bin
mv jdk1.6.0_45 jdk
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export PATH=.:$JAVA_HOME:$PATH
source /etc/profile
java -version

安装hadoop-2.2.0.x86_64.tar.gz
解压hadoop-2.2.0.x86_64.tar.gz到/mengyao/hadoop-2.2.0
tar -zxvf hadoop-2.2.0.x86_64.tar.gz
重命名hadoop-2.2.0为hadoop
mv hadoop-2.2.0 hadoop
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export HADOOP_HOME=/mengyao/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME:$PATH
source /etc/profile

修改hadoop配置文件hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml五个配置文件
1、hadoop-env.sh
    vi hadoop-env.sh
    export JAVA_HOME=/mengyao/jdk
    
2、core-site.xml
    vi core-site.xml
    <configuration>
        <!-- 指定hdfs的NameNode的路径 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://h1:9000</value>
        </property>
        <!-- 指定hadoop的数据存放路径 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/mengyao/hadoop/tmp</value>
        </property>
    <configuration>
    
3、hdfs-site.xml
    vi hdfs-site.xml
    <configuration>
        <!-- 指定hdfs保存数据副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    
4、mapred-site.xml（mv mapred-site.xml.template mapred-site.xml）
    vi mapred-site.xml
    <configuration>
        <!-- 告诉hadoop以后MapReduce运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    
5、yarn-site.xml
    vi yarn-site.xml
    <configuration>
        <!-- 指定nodemanager获取数据的方式是shuffle -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定yarn的ResourceManager的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>h1</value>
        </property>
    </configuration>

初始化HDFS（格式化文件系统）
cd /mengyao/hadoop/bin
hadoop namenode -format（hadoop1的，在hadoop2中已过时）
hdfs namenode -format

启动hadoop
start-all.sh（hadoop2提示不推荐使用，使用如下命令）
start-dfs.sh，start-yarn.sh    
    
    
jps
36374 NodeManager
36269 ResourceManager
35980 DataNode
36133 SecondaryNameNode
35860 NameNode
36886 Jps

浏览器
hdfs    h1:50070
yarn    h1:8088

hadoop常用命令
上传文件到hdfs    hadoop fs -put /源文件路径 /hdfs目录
从hdfs上下载文件到本地    hadoop fs -get /hdfs系统上的文件 /本地路径下的指定文件
从hdfs上删除文件    hadoop fs -rm -r /hdfs系统上的文件
查看hdfs上的文件    hadoop fs -cat /hdfs系统上的文件
递归查看从hdfs根目录开始    hadoop fs ls -R /