hadoop 0.20.2伪分布式安装详解

adoop 0.20.2伪分布式安装详解

hadoop有三种运行模式：

伪分布式不需要安装虚拟机，在同一台机器上同时启动5个进程，模拟分布式。

完全分布式至少有3个节点，其中一个做master，运行名称节点（namenode）、作业跟踪器（jobtracker）等主要进程，另外两个做datanode，运行tasktracker，最好有两个，否则没有冗余，谈不上集群。

下载hadoop 0.20.2安装包：

http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

解压后，放置在合适的位置，如/opt/Hadoop-0.20.2，执行以下命令：

tar -zxvf /opt/haddop-0.20.2

x表示展开文件，-x | --extract | --get 从存档展开文件

z表示用gzip对文档进行压缩或解压，-z | --gzip | --ungzip 用gzip对存档压缩或解压

-v | --verbose 详细显示处理的文件

-f | --file [HOSTNAME:]F 指定存档或设备（缺省为 /dev/rmt0）

如果指定解压目录，则最一个字符应当是“/”，否则就是文件了

进入Hadoop-0.20.2目录

vim conf/Hadoop-env.sh

其中的conf目录是config的缩写，通常是用来放置配置文件的目录，很多开源软件习惯于使用这个目录名称。Hadoop版本不同，配置文件可能也不同，要根据实际情况有所调整。

解压后，进入Hadoop-0.20.2目录，进行配置

本文配置这四个文件。

修改hadoop-env.sh文件

进入conf目录，找到图中的三个文件

vim hadoop-env.sh

找到JAVA_HOME那一项，或修改，或增加，由你选择，最后使

export JAVA_HOME=你的java目录

这一行生效。

此文件暂时仅配置这一项即可。

修改core-site.xml文件

然后

vim core-site.xml

最初的<configuration>项是空的，伪分布式完全按照图中的<property>部分添加即可。

完全分布式要把hdfs:项的主机名部分换成对应的IP或主机名，不管是什么，不会是localhost，此处要注意。

其中的fs.default.name用来指定namenode的IP地址和端口，用于和对应的节点联系。

修改hdfs-site.xml文件

vim hdfs-site.xml

与core-site相同，第一次进入时<configuration>项是空的，伪分布式完全按照红圈部分添加即可。完全分布式要修改dfs.replication部分的value，因为hadoop会往多个节点中复制数据用于备份，此处设置的是最大份数，也就是数据节点的数量，也就是小弟的数量，伪分布式只有一个节点，所以是1，写多了也没用。dfs.data.dir是数据节点的数据的存放位置。

其它参数不多讲。

修改mapred-site.xml

vim mapred-site.xml

作业跟踪器的位置，端口默认，无须修改。作业跟踪器是整个mapreduce系统调度的核心。

伪分布式照搬上图，完全分布式修改主机名。

其它参数，暂时不动。

生成SSH密钥对

1. 输入su，切换到root用户
2. cd /root，进入root目录
3. 运行ssh-kengen -t rsa

给root用户创建一对密钥，公钥和私钥，不对称（不一样），公钥可公开，别人拿到公钥后，可对文件需要加密的内容进行加密，然后传给服务器，服务器可用私钥解密。公钥加密的，只有私钥才能解密。反之亦然，可以用私钥加密，用公钥可以解密，私钥本身无法解密，但这样做没有意义。

拿到公钥，反推私钥，基本上不可能，以目前的计算能力，需要几百年。

RSA算法，产生密钥过程时间很短，但反推消耗时间非常长。例如，两个上千位的素数相乘，所得到的结果，如果反推，可能性太多，只能逐一尝试，这样就会消耗非常长的时间。

Enter file in which to save the key，这一句是问把生成的公钥和私钥存放在哪个文件，如果输入a，则生成a.pub和a两个文件。如果不输入，直接回车，则生成默认文件名id_rsa.pub和id_rsa。

可以使用任何编辑工具查看它们的内容，比如cat id_rsa.pub，里面是人类无法理解的字符串。

然后执行命令：

cp id_isa.pub authorized_keys

authorized_keys中存在id_rsa.pub公钥，就可以免密码连入

至此，hadoop0.20.2的伪分布式就配完了。

格式化分布式文件系统

hadoop目录下执行bin/hadoop namenode -format

此操作的目的在于，在“名称节点”上建立一系列结构，用来存放整个HDFS的元数据，

出现绿圈的提示has been successfully formatted即是配置成功。

下面在hadoop目录下执行以下命令：

bin/start-all.sh

（如果进入bin目录，然后执行start-all.sh，会报“未找到命令”）

如果没有看到denied之类的提示，就是启动成功了。

检测守护进程启动情况

在root用户下，使用java的jps，会看到类似以下的提示：

一样的规则，不能进入到java的bin目录下执行jps，而是java目录下执行bin/jps

表示伪分布式hadoop0.20.2配置成功。