【Hadoop】配置环境-伪分布式

目录

• 1.Linux设置静态IP地址
• 2.修改主机名和映射文件
• 3.SSH免密码配置
• 4.Linux系统JDK的安装和配置
• 5.Hadoop伪分布式配置和测试

1.Linux设置静态IP地址

---

1.在Linux系统命令终端，执行命令：

    # cd /etc/sysconfig/network-scripts/

2.在Linux系统命令终端，执行命令修改ifcfg-auto_eth0，按i进行编辑内容：

    # vi ifcfg-auto_eth0

    BOOTPRPTO=none
    IPADDR=192.168.0.202
    NETMASK=255.255.255.0
    GATE=192.168.0.1
    wq

2.修改主机名和映射文件

---

1.在任何目录下执行命令切换到该目录：

    # cd /etc/sysconfig/

2.在/etc/sysconfig目录下找到network并执行命令编辑内容：

    # vi network

    HOSTNAME=simple02
    wq

3.如果要修改主机名和ip地址具有映射关系，执行命令编辑内容：

    # vi /etc/hosts

    192.168.0.202 simple02
     wq

4.重启系统

    # reboot

3.SSH免密码配置

---

1.切换到.ssh目录下并通过pwd查看该目录路径

    # cd ~/.ssh
    # pwd

提示：如果显示无此目录，先执行一次以下命令：

    ssh localhost

2.查看.ssh目录下内容

     # ls -al

3.在.ssh目录下执行命令：（连续四个回车）

    # ssh-keygen -t rsa

4.执行完上面命令后，或生成两个文件id_rsa(私钥),id_rsa.pub(公钥)，在simple02上执行ssh-copy-id simple02命令（相当于该主机给自身设置免密码登录），根据提示输入访问主机所需要的密码

    # ssh-copy-id simple02

5.在simle02机器上切换到.ssh目录

    # cd ~/.ssh

6.查看.ssh目录下的内容，在.ssh目录下多个文件authorized_key，其内容就是密码值，此时就可以直接访问simple02了

    # ssh simple02

4.Linux系统JDK的安装和配置

---

1.先检查是否有默认的jdk，进行删除（可以不删除）

    # rpm -qa | grep jdk
    # rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

2.在根目录下创建simple文件夹，在simple文件夹内创建soft文件夹

    # cd /
    # mkdir simple
    # cd simple
    # mkdir soft

3.将jdk解压到simple文件夹下

    # cd ../
    # tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz

4.配置环境变量

    # vi /etc/profile

    JAVA_HOME=/simple/jdk1.7.0_79
    export PATH=$JAVA_HOME/bin:$PATH
    wq

5.更新配置文件

    # source /etc/profile

6.检查jdk是否安装成功

    # java -version

5.Hadoop伪分布式配置和测试

---

1.解压hadoop到simple文件夹下

    # cd /simple
    # tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz

2.编辑配置文件hadoop-env.sh

    # cd /simple/hadoop-2.4.1/etc/hadoop/
    # vi hadoop-env.sh
            export JAVA_HOME=/simple/jdk1.7.0_79
            wq

3.编辑配置文件core-site.xml

    # vi core-site.xml
        <property>
            <name>fs.default.name</name>
            <value>hdfs://169.254.25.128:9000</value>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://169.254.25.128:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/simple/hadoop-2.4.1/tmp</value>
        </property>
        wq

4.编辑配置文件hdfs-site.xml

    # vi hdfs-site.xml
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/simple/hadoop-2.4.1/hdfs/name</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/simple/hadoop-2.4.1/hdfs/data</value>
        </property>
        wq

5.编辑配置文件mapred-site.xml

    # vi mapred-site.xml
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        wq

6.编辑配置文件yarn-site.xml

    # vi yarn-site.xml
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>169.254.25.128</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        wq

7.配置环境变量

    # vi /etc/profile

        HADOOP_HOME=/simple/hadoop-2.4.1
        export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
        wq

8.刷新配置文件

    # source /etc/profile

9.格式化hdfs

    # cd /simple/hadoop-2.4.1
    # mkdir tmp
    # mkdir hdfs
    # cd hdfs
    # mkdir name
    # mkdir data
    # hdfs namenode -format

10.启动hdfs

    # cd /simple/hadoop-2.4.1/sbin
    # ./start-all.sh

11.查看进程

    # jps

    Jps
    ResourceManager
    SecondaryNameNode
    NameNode
    NodeManager
    DataNode

12。在浏览器地址栏输入：

http://localhost:50070(HDFS管理界面)
http://localhost:8088(MR管理界面)