centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk，免密匙登录，配置mapreduce，配置YARN。详细步骤如下：

1.0 安装JDK

1.1 查看是否安装了openjdk

[lei@bogon ~]$ java -version

openjdk version "1.8.0_65"

OpenJDK Runtime Environment (build 1.8.0_65-b17)

OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)

1.2 查看openjdk源

[lei@bogon ~]$ rpm -qa | grep java

java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

tzdata-java-2015g-1.el7.noarch

python-javapackages-3.4.1-11.el7.noarch

javapackages-tools-3.4.1-11.el7.noarch

java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

1.3 需root登录

[lei@bogon ~]$ rpm -e --nodeps tzdata-java-2015g-1.el7.noarch

错误：can't create 事务 lock on /var/lib/rpm/.rpm.lock (权限不够)

[lei@bogon ~]$ su

密码：

1.4 依次删除OPENJDK

[root@bogon lei]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

[root@bogon lei]# rpm -e --nodeps tzdata-java-2015g-1.el7.noarch

[root@bogon lei]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

[root@bogon lei]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

[root@bogon lei]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

1.5 将下载JDK后缀为.tar.gz解压缩至/opt路径下

[root@bogon lei]# tar -zxf/home/lei/桌面/jdk-8u77-linux-x64.tar.gz -C /opt

1.6 配置JDK环境变量

[root@bogon lei]# vim /etc/profile.d/java.sh

输入以下内容

JAVA_HOME=/opt/jdk1.8.0_77

JRE_HOME=/opt/jdk1.8.0_77/jre

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$PATH

1. 8使变量生效

source /etc/profile.d/java.sh

2.0 ssh 免密匙登录

是否可以免密匙登录

[root@bogon lei]# ssh localhost

The authenticity of host 'localhost (::1)' can't be established.

ECDSA key fingerprint is 7b:10:e3:b5:ea:7d:29:be:77:83:1c:c0:1d:85:de:ba.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.

[root@localhost's password:

Last login: Sat Apr  2 22:32:44 2016

配置免密匙登录

[root@bogon ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

Generating public/private dsa key pair.

Your identification has been saved in /root/.ssh/id_dsa.

Your public key has been saved in /root/.ssh/id_dsa.pub.

The key fingerprint is:

e0:ba:3c:c5:73:dd:f0:39:51:ad:87:4b:dc:32:46:83 root@bogon

The key's randomart image is:

+--[ DSA 1024]----+

|             . . |

|            E + .|

|      .      + = |

|     . .  . . O o|

|     .. S. + = = |

|     .+ . . = .  |

|    .. o     .   |

|   ...           |

|    o.           |

+-----------------+

[root@bogon ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[root@bogon ~]# chmod 0600 ~/.ssh/authorized_keys

再次登录，即可免密匙

[root@bogon ~]# ssh localhost

Last login: Sat Apr  2 22:51:41 2016 from localhost

3.0 安装Hadoop

3.0.1解压Hadoop至/opt路径下

tar -zxf /home/lei/桌面/hadoop-2.7.2.tar.gz -C /opt

3.0.2配置Hadoop环境变量

vim /etc/profile.d/hadoop.sh

输入以下内容

export HADOOP_HOME=/opt/hadoop-2.7.2

export HADOOP_PREFIX=/opt/hadoop-2.7.2

使变量生效

source /etc/profile.d/hadoop.sh

3.0.3进入已经解压的Hadoop路径下

[root@bogon ~]# cd /opt/hadoop-2.7.2

3.0.4 修改hadoop-env.sh 增加JAVA_HOME路径

[root@bogon hadoop-2.7.2]# vim etc/hadoop/hadoop-env.sh

增加如下代码

export JAVA_HOME=/opt/

3.0.5 运行命令可看到Hadoop支持的命令

[root@bogon hadoop-2.7.2]# bin/hadoop

3.1 配置Mapreduce

3.1.1 编辑core-site.xml

[root@bogon hadoop-2.7.2]# vim etc/hadoop/core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

3.1.2 编辑hdfs-site.xml

[root@bogon hadoop-2.7.2]# vim etc/hadoop/hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

3.1.3 格式化

[root@bogon hadoop-2.7.2]# bin/hdfs namenode -format

省略N行

16/04/02 22:54:15 INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at bogon/221.192.153.42

************************************************************/

3.1.4 开启mapreduce

[root@bogon hadoop-2.7.2]# sbin/start-dfs.sh

3.1.5 访问http://localhost:50070/

如图

3.1.6 运行mapreduce案例

[root@bogon hadoop-2.7.2]# bin/hdfs dfs -mkdir /user

[root@bogon hadoop-2.7.2]# bin/hdfs dfs -mkdir /user/lei

### 如果出现没有input错误

[root@bogon hadoop-2.7.2]# bin/hdfs dfs -put etc/hadoop input

put: `input': No such file or directory

### 手动创建

[root@bogon hadoop-2.7.2]# bin/hadoop fs -mkdir -p input

[root@bogon hadoop-2.7.2]# bin/hdfs dfs -put etc/hadoop input

[root@bogon hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

3.1.7 查看文件

[root@bogon hadoop-2.7.2]# bin/hadoop dfs -ls

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

Found 2 items

drwxr-xr-x   - root supergroup          0 2016-04-02 23:39 input

drwxr-xr-x   - root supergroup          0 2016-04-02 23:43 output

3.1.8 停止mapreduce

[root@bogon hadoop-2.7.2]#sbin/start-dfs.sh

mapreduce配置完成

3.2 YARN配置

3.2.1 配置mapred-site.xml

[root@bogon hadoop-2.7.2]# mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

[root@bogon hadoop-2.7.2]# vim etc/hadoop/mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

3.2.2配置yarn-site.xml

[root@bogon hadoop-2.7.2]# vim etc/hadoop/yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

[root@bogon hadoop-2.7.2]# sbin/start-yarn.sh

3.2.3 稍等片刻启动完毕后打开http://localhost:8088/

如图

Hadoop伪分布式安装完成

centos 7下Hadoop 2.7.2 伪分布式安装的更多相关文章

hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
Hadoop生态圈-hbase介绍-伪分布式安装
Hadoop生态圈-hbase介绍-伪分布式安装作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...
hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
Hadoop + Hive + HBase + Kylin伪分布式安装
问题导读 1. Centos7如何安装配置? 2. linux网络配置如何进行? 3. linux环境下java 如何安装? 4. linux环境下SSH免密码登录如何配置? 5. linux环境下H ...
CentOS系统下Hadoop 2.4.1集群安装配置（简易版）
安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...
Centos 6.5 hadoop 2.2.0 全分布式安装
hadoop 2.2.0 cluster setup 环境: 操作系统:Centos 6.5 jdk:jdk1.7.0_51 hadoop版本:2.2.0 hostname ip master ...
Linux下Storm2.1.0的伪分布式安装
官方下载网址:http://storm.apache.org/downloads.html 1.第一步我们先从官网下载解压包 2.然后进行解压 3.配置环境变量在profile里面插入如下格式语句 ...
Hadoop单机模式和伪分布式搭建教程CentOS
1. 安装JAVA环境 2. Hadoop下载地址: http://archive.apache.org/dist/hadoop/core/ tar -zxvf hadoop-2.6.0.tar.gz ...
Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...

随机推荐

c++之cin/cin.get/cin.getline()详解
C++输入过程中,是把输入加载到缓冲区中,然后对缓冲区中的字符进行读取.cin,cin,get(),cin.getline()三个函数虽然都能进行数据读取,但是它们对缓冲区内数据的处理方法是不同的(如 ...
rsync（三）算法原理和工作流程分析
在开始分析算法原理之前,简单说明下rsync的增量传输功能. 假设待传输文件为A,如果目标路径下没有文件A,则rsync会直接传输文件A,如果目标路径下已存在文件A,则发送端视情况决定是否要传输文件A ...
HDU1074(状态压缩DP)
Doing Homework Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)To ...
通过url在两个页面之间传值
今天开发遇到一个需要通过url传值才能解决的问题,就查了一下资料一下是整理的结果: 假如需要把a页面的值传到b页面 a页面代码 <script type="text/javascri ...
设置a 标签打开新窗口新姿势
设置页面中的所有a标签都打开新窗口 1,在写的时候就加上target="_blank" 2,在页头<head></head>里加上 <base tar ...
TP5之使用layui分页样式
1.首先你得引入layui文件吧 2.在 application\config.php 中配置,像这样,,, 3.controller中这样写 $data = Db::table($table) -& ...
Event事件的三个阶段
转自www.w3school.com.cn/htmldom/event_bubbles.asp 在 2 级 DOM标准中,事件传播分为三个阶段: 第一,捕获阶段.事件从 Document 对象沿着文档 ...
Kinect SDK(1)：读取彩色、深度、骨骼信息并用OpenCV显示
Kinect SDK 读取彩色.深度.骨骼信息并用OpenCV显示一.原理说明对于原理相信大家都明白大致的情况,因此,在此只说比较特别的部分. 1.1 深度流数据: 深度数据流所提供的图像帧中,每 ...
关于 T[] 的反射问题
1. T[] 类型不适应以下代码 Dictionary<string, Test> d = new Dictionary<string, Test>(); // Get a T ...
Spark 学习(三) maven 编译spark 源码
spark 源码编译 scala 版本2.11.4 os:ubuntu 14.04 64位 memery 3G spark :1.1.0 下载源码后解压 1 准备环境,安装jdk和scala,具体参考 ...

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk，免密匙登录，配置mapreduce，配置YARN。详细步骤如下：

1.0 安装JDK

1.1 查看是否安装了openjdk

1.2 查看openjdk源

1.3 需root登录

1.4 依次删除OPENJDK

1.5 将下载JDK后缀为.tar.gz解压缩至/opt路径下

1.6 配置JDK环境变量

输入以下内容

1. 8使变量生效

2.0 ssh 免密匙登录

是否可以免密匙登录

配置免密匙登录

再次登录，即可免密匙

3.0 安装Hadoop

3.0.1解压Hadoop至/opt路径下

3.0.2配置Hadoop环境变量

输入以下内容

使变量生效

3.0.3进入已经解压的Hadoop路径下

3.0.4 修改hadoop-env.sh 增加JAVA_HOME路径

增加如下代码

3.0.5 运行命令可看到Hadoop支持的命令

3.1 配置Mapreduce

3.1.1 编辑core-site.xml

3.1.2 编辑hdfs-site.xml

3.1.3 格式化

3.1.4 开启mapreduce

3.1.5 访问http://localhost:50070/

如图

3.1.6 运行mapreduce案例

3.1.7 查看文件

3.1.8 停止mapreduce

mapreduce配置完成

3.2 YARN配置

3.2.1 配置mapred-site.xml

3.2.2配置yarn-site.xml

3.2.3 稍等片刻启动完毕后 打开http://localhost:8088/

如图

Hadoop伪分布式安装完成

centos 7下Hadoop 2.7.2 伪分布式安装的更多相关文章

随机推荐

热门专题

3.2.3 稍等片刻启动完毕后打开http://localhost:8088/