hadoop-1.2.0安装记录

一、添加用户（各机器均一致）

    添加组： sudo addgroup hadoop
    添加用户并到组：sudo adduser -ingroup hadoop hadoop

二、ssh无验证登陆

    1、用hadoop登陆，执行：

    ssh-keygen -t rsa -P ""

    cat .ssh/id_rsa.pub >> .ssh/authorized_keys

    完成后，用ssh localhost测试。

    2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中，将客户端的authorized_keys追加到服务端的authorized_keys文件中。

三、hadoop配置：

    1、分别配置以下文件：

    hadoop-env.sh

    core-site.xml

    hdfs-site.xml

    mapred-site.xml

    masters

    slaves（Master主机特有）

    2、修改环境变量文件

    export HADOOP_HOME=/usr/hadoop

    export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin

    3、hadoop启动准备：

    首次格式化:hadoop namenode -format

    关闭访问墙：service iptables stop

    启动：start-all.sh

    停止：stop-all.sh

    四、hadoop查看

    网页查看集群:
           http://192.168.157.131:50030、http://192.168.157.131:50070

五、常见问题

    1、eclipse插件Permission denied的错误，要在conf/hdfs-site.xml中新增：

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

    重启hadoop服务。