Hadoop学习------Hadoop安装方式之(一)：单机部署

Hadoop 默认模式为单机(非分布式模式)，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

1、创建用户

1.1创建hadoop用户组和用户

一般我们不会经常使用root用户运行hadoop,所以需要创建一个平常运行和管理hadoop的用户;

有2种方式，选择任意一种即可

方法1：先创建hadoop用户组 (不同Linux系统命令不同)

sudo groupadd(或者addgroup) hadoop

再创建hadoop用户

sudo useradd(或者 adduser) –g hadoop hadoop

前一个hadoop是用户组，后一个hadoop是用户

修改 hadoop用户的密码

passwd hadoop

方法2：先创建hadoop 用户

sudo useradd(或者 adduser)

passwd hadoop

在创建hadoop用户的同时也创建了hadoop用户组，下面我们把hadoop用户加入到hadoop用户组输入

sudo usermod -a -G hadoop hadoop

1.2给hadoop用户赋予root权限

vi /etc/sudoers

在文件中找到一行文字如下：

# User privilege specification

root ALL=(ALL) ALL

在root下面加上一行

hadoop ALL=(ALL) ALL

然后保存退出，这样hadoop用户就有了root权限。

2 安装JDK并配置好环境变量

这里不再过多说明，详情见 Linux系统上安装、卸载JAVA、TOMCAT的方法

3 修改机器名

进入/etc/sysconfig/network (ubuntu系统修要修改/etc/hostname)

vi /etc/sysconfig/network 修改主机名为master

4.安装SSH 服务，建立SSH无密码登录本机

4.1 如果本机没有安装SSH

sudo apt-get install ssh

4.2设置本机无密码登录

具体步骤如下：

第一步：产生密钥

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

第二部：导入authorized_keys

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

第二部导入的目的是为了无密码等，这样输入如下命令：

ssh localhost 无需密码直接进入

5安装Hadoop

5.1从官网下载Hadoop最新版2.7.0

进入到 /usr/loca cd /usr/local

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz

然后解压缩 tar zxvf /root/hadoop-2.7.0.tar.gz

然后将解压后的文件重命名为hadoop mv hadoop-2.7.0 hadoop

5.2设置环境变量

vi /etc/profile

找到PATH 在最后面添加 :/usr/local/hadoop/bin 或者

export PATH=/usr/local/hadoop-2.7.0/bin:$PATH

使配置生效 source /etc/profile

设置Hadoop的JAVA_HOME

cd /usr/local/hadoop

vi etc/hadoop/hadoop-env.sh

找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径

5.3测试是否安装成功单机模式

cd /usr/local/hadoop

./bin/hadoop version 可以查看hadoop版本信息

现在我们可以执行一些例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoo/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

cd /usr/local/hadoop

mkdir ./input 创建目录

cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

然后我们可以查看运行结果 cat ./output/*

执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。 rm -r ./output

cd /usr/local/hadoop jps

执行 hadoop fs –ls

至此单机模式已经部署完成。