一、安装前准备

本次安装所使用软件：

虚拟机：VirtualBox-4.3.8-92456-Win.exe

JDK：jdk-6u24-linux-i586.bin

Hadoop：hadoop-1.1.2.tar.gz

Linux版本：CentOS-5.5-i386-bin-DVD.iso

Hadoop组件依赖关系



Linux系统的安装就不介绍了，下面默认为已经安装好Linux系统了。

设置Linux的静态IP

编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，修改为如下内容：

  1. DEVICE=eth0
    2. 

  2. BOOTPROTO="static"
    3. 

  3. HWADDR=08:00:27:22:13:54
    4. 

  4. IPV6INIT="no"
    5. 

  5. ONBOOT=yes
    6. 

  6. DNS=192.168.1.1
    7. 

  7. IPADDR=192.168.1.150
    8. 

  8. NETMASK=255.255.255.0
    9. 

  9. GATEWAY=192.168.1.1

然后执行网络重启命令：

  1. service network restart

最后执行ifconfig命令查看是否修改成功

  1. [root@hadoop-master software]# ifconfig
    2. 

  2. eth0      Link encap:Ethernet  HWaddr 08:00:27:22:13:54  
    3. 

  3.           inet addr:192.168.1.150  Bcast:192.168.1.255  Mask:255.255.255.0
    4. 

  4.           inet6 addr: fe80::a00:27ff:fe22:1354/64 Scope:Link
    5. 

  5.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
    6. 

  6.           RX packets:3078 errors:0 dropped:0 overruns:0 frame:0
    7. 

  7.           TX packets:423 errors:0 dropped:0 overruns:0 carrier:0
    8. 

  8.           collisions:0 txqueuelen:1000 
    9. 

  9.           RX bytes:230636 (225.2 KiB)  TX bytes:56128 (54.8 KiB)
    10. 

    11. 

  11. lo        Link encap:Local Loopback
    12. 

  12.           inet addr:127.0.0.1  Mask:255.0.0.0
    13. 

  13.           inet6 addr: ::1/128 Scope:Host
    14. 

  14.           UP LOOPBACK RUNNING  MTU:16436  Metric:1
    15. 

  15.           RX packets:76 errors:0 dropped:0 overruns:0 frame:0
    16. 

  16.           TX packets:76 errors:0 dropped:0 overruns:0 carrier:0
    17. 

  17.           collisions:0 txqueuelen:0 
    18. 

  18.           RX bytes:6266 (6.1 KiB)  TX bytes:6266 (6.1 KiB)
    19. 

  19. [root@hadoop-master software]#

修改VirtualBox的虚拟网卡地址

该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通。

设置VirtualBox虚拟机的网络连接方式为Host-Only



再修改VirtualBox虚拟出那块网卡的ip地址



修改为如下内容：



最后需要验证宿主机和虚拟机是否能够互通

宿主机ping虚拟机：



虚拟机ping宿主机：

  1. [root@hadoop-master software]# ping -c3 192.168.1.100
    2. 

  2. PING 192.168.1.100 (192.168.1.100) 56(84) bytes of data.
    3. 

  3. 64 bytes from 192.168.1.100: icmp_seq=1 ttl=64 time=0.366 ms
    4. 

  4. 64 bytes from 192.168.1.100: icmp_seq=2 ttl=64 time=0.357 ms
    5. 

  5. 64 bytes from 192.168.1.100: icmp_seq=3 ttl=64 time=0.189 ms
    6. 

    7. 

  7. --- 192.168.1.100 ping statistics ---
    8. 

  8. 3 packets transmitted, 3 received, 0% packet loss, time 2000ms
    9. 

  9. rtt min/avg/max/mdev = 0.189/0.304/0.366/0.081 ms
    10. 

  10. [root@hadoop-master software]#

修改主机名

修改当前会话主机名（当前会话生效）：hostname 主机名

修改配置文件主机名（永久生效）：vi /etc/sysconfig/network

  1. [root@hadoop-master software]# cat /etc/sysconfig/network
    2. 

  2. NETWORKING=yes
    3. 

  3. NETWORKING_IPV6=no
    4. 

  4. HOSTNAME=hadoop-master
    5. 

  5. [root@hadoop-master software]# hostname
    6. 

  6. hadoop-master

把hostname和ip绑定

修改hosts文件：vi /etc/hosts文件，增加一行

  1. 192.168.1.150   hadoop-master

关闭防火墙：service iptables stop

  1. 查看防火墙状态：service iptables status
  2. 关闭防火墙：service iptables stop

  3. 关闭防火墙的自运行：

    1. 查看自运行状态：chkconfig –list | grep ‘iptables’

      1. [root@hadoop-master sysconfig]# chkconfig --list |  grep 'iptables'
        2. 

      2. iptables        0:关闭  1:关闭  2:启用  3:启用  4:启用   5:启用  6:关闭

    2. 关闭防火墙：chkconfig iptables off

      1. [root@hadoop-master sysconfig]# chkconfig iptables off

    3. 再次查看自运行状态：chkconfig –list | grep ‘iptables’

      1. [root@hadoop-master sysconfig]# chkconfig --list | grep 'iptables'
        2. 

      2. iptables        0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关闭

这样下次开机的时候就会不开启防火墙了

二、SSH免密码登陆

生成秘钥文件

进入~/.ssh文件夹，使用ssh-keygen -t rsa命令

注意：

1.如果没有.ssh文件夹，就使用ssh协议登录一次试试

2.如果还是没有.ssh文件夹，就自己创建一个。修改文件夹权限为700

3.authorized_keys文件的权限为644

  1. [root@hadoop-master software]# cd ~/.ssh/
    2. 

  2. [root@hadoop-master .ssh]# ssh-keygen -t rsa

查看.ssh文件夹中已经多出了两个文件id_rsa和 id_rsa.pub

  1. [root@hadoop-master .ssh]# ls
    2. 

  2. id_rsa  id_rsa.pub
    3. 

  3. [root@hadoop-master .ssh]#

将id_rsa.pub公钥文件内容放入到authorized_keys中，变成私钥

  1. [root@hadoop-master .ssh]# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

测试免密码登陆是否成功

使用：ssh localhost命令连接本机，第一次连接时会让输入yes。以后就不用输入了。

  1. [root@hadoop-master .ssh]# ssh localhost
    2. 

  2. The authenticity of host 'localhost (127.0.0.1)' can't be established.
    3. 

  3. RSA key fingerprint is 8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.
    4. 

  4. Are you sure you want to continue connecting (yes/no)? yes
    5. 

  5. Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
    6. 

  6. Last login: Sun Apr  5 17:45:25 2015

三、安装JDK

JDK的安装很简单，解压缩。然后配置环境变量即可。

安装步骤如下：

1. 授予执行权限

  1. [root@hadoop-master software]# chmod u+x jdk-6u24-linux-i586.bin

2. 解压缩

  1. [root@hadoop-master software]# ./jdk-6u24-linux-i586.bin

3. 配置环境变量

编辑/etc/profile文件,增加如下代码

  1. # JAVA_HOME
    2. 

  2. export JAVA_HOME=/opt/modules/jdk1.6.0_24
    3. 

  3. export PATH=$JAVA_HOME/bin:$PATH
    4. 

  4. export CLASS_PATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

然后使设置立即生效：

  1. source /etc/profile

4. 测试安装

  1. [root@hadoop-master software]# java -version
    2. 

  2. java version "1.6.0_24"
    3. 

  3. Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
    4. 

  4. Java HotSpot(TM) Client VM (build 19.1-b02, mixed mode, sharing)
    5. 

  5. [root@hadoop-master software]#

四、安装Hadoop

Hadoop伪分布式的安装也很简单

解压缩，配置环境变量。修改配置文件即可

1、解压缩hadoop-1.1.2.tar.gz

  1. [root@hadoop-master software]# tar -zxvf hadoop-1.1.2.tar.gz

解压完成后，可以看下Hadoop1.x的目录结构

2、添加到环境变量中

编辑/etc/profile文件,在文件最后增加如下内容

  1. # HADOOP_HOME
    2. 

  2. export HADOOP_HOME=/opt/modules/hadoop-1.1.2
    3. 

  3. export PATH=$PATH:$HADOOP_HOME/bin

3、使设置立即生效

  1. source /etc/profile

4、修改hadoop的配置文件

伪分布式的安装需要修改Hadoop的6个配置文件（${HADOOP_HOME}/conf），如下：

Hadoop脚本配置文件：hadoop-env.sh

核心配置文件：core-site.xml

HDFS的配置文件：hdfs-site.xml

MapReduces的配置文件：mapred-site.xml

管理节点配置文件：masters

工作节点配置文件：slaves

配置hadoop-env.sh

打开${HADOOP_HOME}/conf/hadoop-env.sh

修改JAVA_HOME变量为自己安装的JDK的位置

  1. export JAVA_HOME=/opt/modules/jdk1.6.0_24
配置core-site.xml

${HADOOP_HOME}/conf/core-site.xml中需要配置HDFS的默认主机名、端口和hadoop在本地的文件系统目录（目录需要存在）

为什么要设置HDFS的工作目录呢？

因为不设置的话，Hadoop的HDFS默认的工作目录是在Linux系统的/tmp目录下，



这个目录在Linux重启后内容会被清空。所以你还需要重新再格式化。所以，这里我们指定HDFS的工作目录为我们自定义的目录。

  1. <?xml version="1.0"?>
    2. 

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    3. 

  3. <!-- Put site-specific property overrides in this file. -->
    4. 

  4. <configuration>
    5. 

  5.     <property>
    6. 

  6.         <name>fs.default.name</name>
    7. 

  7.         <value>hdfs://hadoop-master:9000</value>
    8. 

  8.         <description>hadoop-master</description>
    9. 

  9.     </property>
    10. 

  10.     <property>
    11. 

  11.         <name>hadoop.tmp.dir</name>
    12. 

  12.         <value>/opt/data/tmp</value>
    13. 

  13.     </property>
    14. 

  14. </configuration>
配置hdfs-site.xml

${HADOOP_HOME}/conf/hdfs-site.xml中主要配置：

文件块的副本数（dfs.replication）：由于是伪分布式，主节点和从节点都在同一台机器上，所以副本数为1

是否进行权限检查（dfs.permissions）：false

  1. <?xml version="1.0"?>
    2. 

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    3. 

  3. <!-- Put site-specific property overrides in this file. -->
    4. 

  4. <configuration>
    5. 

  5.     <property>
    6. 

  6.         <name>dfs.replication</name>
    7. 

  7.         <value>1</value>
    8. 

  8.     </property>
    9. 

  9.     <property>
    10. 

  10.         <name>dfs.permissions</name>
    11. 

  11.         <value>false</value>
    12. 

  12.     </property>
    13. 

  13. </configuration>
配置mapred-site.xml

${HADOOP_HOME}/conf/mapred-site.xml中主要配置MapReduce的jobTracker的主机和端口

  1. <?xml version="1.0"?>
    2. 

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    3. 

  3. <!-- Put site-specific property overrides in this file. -->
    4. 

  4. <configuration>
    5. 

  5.     <property>
    6. 

  6.         <name>mapred.job.tracker</name>
    7. 

  7.         <value>hadoop-master:9001</value>
    8. 

  8.     </property>
    9. 

  9. </configuration>
配置masters

指定SecondaryNameNode的位置（主机名）。

打开${HADOOP_HOME}/conf/masters文件，增加如下内容：

  1. hadoop-master
配置slaves

指定DataNode和TaskTracker的位置（主机名）。

打开${HADOOP_HOME}/conf/slaves文件，增加如下内容：

  1. hadoop-master

5、格式化NameNode

配置完成后需要格式化NameNode，第一次使用时需要格式化，之后再次使用时就不再需要。

在${HADOOP_HOME}/bin/目录下执行

  1. [root@hadoop-master bin]# hadoop namenode -format

五、测试Hadoop安装是否成功

启动Hadoop

Hadoop的执行命令都在${HADOOP_HOME}/bin目录下，启动和停止的2种方式

  1. 全部启动或停止：

    启动：start-all.sh

    启动顺序为：

    NameNode–>DataNode–>SecondaryNameNode–>JobTracker–>TaskTracker

    停止：stop-all.sh

    停止顺序为：

    JobTracker–>TaskTracker–>NameNode–>DataNode–>SecondaryNameNode

  2. 单个启动：

    启动：start-dfs.sh start-mapred.sh

    停止：stop-dfs.sh stop-mapred.sh

这里我们直接全部启动：start-all.sh

  1. [root@hadoop-master bin]# start-all.sh
    2. 

  2. starting namenode, logging to /opt/modules/hadoop-1.1.2/libexec/../logs/hadoop-root-namenode-hadoop-master.out
    3. 

  3. hadoop-master: starting datanode, logging to /opt/modules/hadoop-1.1.2/libexec/../logs/hadoop-root-datanode-hadoop-master.out
    4. 

  4. hadoop-master: starting secondarynamenode, logging to /opt/modules/hadoop-1.1.2/libexec/../logs/hadoop-root-secondarynamenode-hadoop-master.out
    5. 

  5. starting jobtracker, logging to /opt/modules/hadoop-1.1.2/libexec/../logs/hadoop-root-jobtracker-hadoop-master.out
    6. 

  6. hadoop-master: starting tasktracker, logging to /opt/modules/hadoop-1.1.2/libexec/../logs/hadoop-root-tasktracker-hadoop-master.out
    7. 

  7. [root@hadoop-master bin]#

可以从控制台看到，启动后的日志信息都存在在了HADOOPHOME/logs/目录下，如果启动报错可以去查看相应的日志信息。当然这个日志目录可以自定义。默认是在HADOOPHOME/logs/目录下，如果启动报错可以去查看相应的日志信息。当然这个日志目录可以自定义。默认是在{HADOOP_HOME}/logs/目录下。打开${HADOOP_HOME}/conf/hadoop-env.sh文件，里面有如下一行配置：

  1. # Where log files are stored.  $HADOOP_HOME/logs by default.
    2. 

  2. # export HADOOP_LOG_DIR=${HADOOP_HOME}/logs

日志类型有2种，分别以log和out结尾。

  1. 以log结尾的日志

    通过log4j采用每日滚动的方式来记录日志，主要记录了启动和停止的日志信息。
  2. 以out结尾的日志

    记录标准输出和标准错误的日志，内容比较少。

日志文件名格式：

hadoop-root-datanode-hadoop-master.log

hadoop-用户名-守护进程名称-运行守护进程的节点名称.log

消除start-all.sh时候的警告信息

如果启动过程中出现如下警告信息

  1. Warning: $HADOOP_HOME is deprecated

出现该警告的原因为：${HADOOP_HOME}/bin/hadoop-config.sh文件中的如下代码



主要是：$HADOOP_HOME_WARN_SUPPERSS变量内容为空的原因，

解决办法是设置其不为空即可！

修改vi /etc/profile文件，增加如下代码

  1. export  HADOOP_HOME_WARN_SUPPRESS=1

然后使设置生效

  1. source /etc/profile

通过jps命令查看Hadoop的5个守护进程

ps表示查看Linux系统中的进程。jps表示查看系统中的Java进程

  1. [root@hadoop-master bin]# jps
    2. 

  2. 6432 DataNode
    3. 

  3. 6639 JobTracker
    4. 

  4. 6915 Jps
    5. 

  5. 6316 NameNode
    6. 

  6. 6545 SecondaryNameNode
    7. 

  7. 6791 TaskTracker
    8. 

  8. [root@hadoop-master bin]#

登陆WEB管理页面

在Windwos系统的hosts文件中配置ip地址和hostname的映射

打开C:\Windows\System32\drivers\etc\hosts文件，增加如下内容。这样在访问192.168.1.150时，可以直接输入hadoop-master来访问了。

  1. ## Hadoop1.1.2
    2. 

  2. 192.168.1.150 hadoop-master
HDFS的管理页面

http://hadoop-master:50070

MapReduce的管理页面

http://hadoop-master:50030

各监控页面显示正常的话，表示Hadoop伪分布式安装成功!

Hadoop1.1.2伪分布式安装的更多相关文章

  1. Hadoop1.2.1 伪分布式安装

    Hadoop1.2.1 单机模式安装 Hadoop组件依赖图(从下往上看) 安装步骤: 详细步骤: 设置ssh自动登录(如下图): 1.输入命令 [ssh-keygen -t rsa],然后一直按回车 ...

  2. Hadoop1.1.2伪分布式安装笔记

    一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/if ...

  3. Hadoop1.0.4伪分布式安装

    前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库 ...

  4. redhat 安装hadoop1.2.1伪分布式

    完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html 一.环境准备    1.安装linux.jdk      2.下载hadoop2. ...

  5. hadoop伪分布式安装之Linux环境准备

    Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMn ...

  6. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  7. 第二章 伪分布式安装hadoop hbase

    安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试.所以我们讲下伪分布式安装hadoop. 我们继续上一章继续讲解,安装完先试试SSH装 ...

  8. HBase基础和伪分布式安装配置

    一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...

  9. Zookeeper 初体验之——伪分布式安装（转）

    原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 ...

随机推荐

  1. Squeeze-and-Excitation Networks

    Squeeze-and-Excitation Networks Paper 近些年来,卷积神经网络在很多领域都取得了巨大的突破.而卷积核作为卷积神经网络的核心,通常被看做是在局部感受野上,将空间上(s ...

  2. ARM上电启动及Uboot代码分析

    版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/qianlong4526888/article/details/27698707 注意:由于文档是去年 ...

  3. 为什么Log.nsf中存储的日志只有最近7天的原因

    是由于Domino服务器的notes.ini配置文件中有一行参数: Log = logfilename, log_option, not_used, days, size 比如:Log=log.nsf ...

  4. [3D]1.绘制三角形

    作为一个.Net程序员学习3D开发好尴尬啊,因为不论是OpenGL还是Direct3D都是用C/C++开发的比较多.虽然有计划使用C++进行开发,但是平时还是C#使用的多.很少用C++做东西,如果仅仅 ...

  5. Codeforces Round #522 (Div. 2, based on Technocup 2019 Elimination Round 3) Solution

    A. Kitchen Utensils Water. #include <bits/stdc++.h> using namespace std; #define N 110 int n, ...

  6. ng-深度学习-课程笔记-12: 深度卷积网络的实例探究(Week2)

    1 实例探究( Cast Study ) 这一周,ng对几个关于计算机视觉的经典网络进行实例分析,LeNet-5,AlexNet,VGG,ResNet,Inception. 2 经典网络( Class ...

  7. Mybatis 之 缓存结构

    Mybatis默认提供两种缓存方式,一级缓存是SqlSession 级别的缓存,二级缓存是Mapper 级别的缓存 SqlSession 级别的缓存,每个缓存是相对独立,互不影响:Mapper 级别 ...

  8. php面向对象基础知识点总结

    下面是一些PHP面向对象基础知识的摘录,摘录内容来自PHP5.1手册. 1.类的变量成员叫做“属性”,或者叫“字段”.“特征”,在本文档统一称为“属性”. 2.属性中的变量可以初始化,但是初始化的值必 ...

  9. 【运维技术】kafka三实例集群环境搭建及测试使用

    kafka三实例集群环境搭建及测试使用 单机搭建分为两部分:1. 软件安装启动 2. 软件配置 软件安装启动: # 切换到目录 cd /app # 获取kafka最新安装包,这边使用的是镜像地址,可以 ...

  10. Think in Java笔记——Java与对象

    最近在重新学习Java,在阅读Java的经典著作——Java编程思想,因此每天记录阅读的心得. 当听到Java这个词时,大家一般想到的是面向对象,确实Java相对于C/C++这两门语言来说,Java最 ...