1、安装环境

  ①、一台Linux CentOS6.7 系统

  hostname                ipaddress                subnet mask                  geteway    

   Node1     192.168.139.150    255.255.255.0      192.168.139.2

  ②、hadoop 2.7 安装包

    百度云下载链接:http://pan.baidu.com/s/1gfaKpA7密码:3cl7

2、安装 JDK

  教程:http://www.cnblogs.com/ysocean/p/6952166.html

3、配置本机 ssh 免密码登录

  教程:http://www.cnblogs.com/ysocean/p/6959776.html

  上面教程是配置多台机器 ssh 免秘钥登录的配置。那么本机配置的话。输入如下命令即可:

ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

  完成之后,以 root 用户登录,修改 ssh 配置文件

vi /etc/ssh/sshd_config

  把文件中的下面几条信息的注释去掉: 

  RSAAuthentication yes # 启用 RSA 认证
  PubkeyAuthentication yes # 启用公钥私钥配对认证方式
  AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

  然后重启服务

service sshd restart

  验证出现如下界面,中间不需要输入密码,即配置完成。

  

4、安装 hadoop-2.7.3.tar.gz

  ①、将下载的 hadoop-2.7.3.tar.gz  复制到 /home/hadoop 目录下(可以利用工具 WinSCP)

  ②、解压,进入/home/hadoop 目录下,输入下面命令

tar -zxvf hadoop-2.7.3.tar.gz

  ③、给 hadoop-2.7.3文件夹重命名,以便后面引用

mv hadoop-2.7.3 hadoop2.7

  ④、删掉压缩文件 hadoop-2.7.3.tar.gz,并在/home/hadoop 目录下新建文件夹 tmp

mv hadoop-2.7.3 hadoop2.7

  ⑤、配置 hadoop 的环境变量(注意要使用 root 用户登录)

vi /etc/profile

  输入如下信息:

  

  然后输入如下命令保存生效:

source /etc/profile

  ⑥、验证

  在任意目录下,输入 hadoop,出现如下信息即配置成功

  

5、修改配置文件

  ①、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh

  输入命令

  

  修改 hadoop-env.sh 的 JAVA_HOME 值

  

  ②、/home/hadoop/hadoop2.7/etc/hadoop目录下的core-site.xml

  

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.139.150:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>

  ③、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml

  

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

  

到此我们便配置完成一个 hdfs 伪分布式环境  

  启动 hdfs Single Node

  ①、初始化 hdfs 文件系统

bin/hdfs namenode -format

  ②、启动 hdfs 

sbin/start-dfs.sh

  ③、输入 jps 应该会有如下信息显示,则启动成功

  

  那么我们就可以 通过 http://192.168.139.150:50070 来访问 NameNode

  

  我们点开 Datanodes ,发现就一个 datanode ,而且 IP 是 NameNode 的

  

  我们使用命令创建一个文件

  

  那么在网页上我们就能看到这个文件

  

  ④、关闭 hdfs

 sbin/stop-dfs.sh

  

Hadoop 2.7 伪分布式环境搭建的更多相关文章

  1. Hadoop学习2—伪分布式环境搭建

    一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键V ...

  2. Hadoop学习笔记1:伪分布式环境搭建

    在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...

  3. 【Hadoop】伪分布式环境搭建、验证

    Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...

  4. 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)

    所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...

  5. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  6. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  7. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  8. hive-2.2.0 伪分布式环境搭建

    一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...

  9. HDFS 伪分布式环境搭建

    HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...

随机推荐

  1. .NET的JSON格式数据的三种转换方式

    说明: 1..Net进行JSON格式的数据传递的时候,势必用到序列化和反序列化对象,总共有三种方式可是在.NET中实现序列化和反序列化的需求. 2.操作JSON的速度是:Json.net > M ...

  2. bootstrap的常用组件和栅格式布局

    Bootstrap 是最受欢迎的 HTML.CSS 和 JS 框架,用于开发响应式布局.移动设备优先的 WEB 项目. 因为Bootstrap需要jquery的支持,所以在使用Bootstrap之前要 ...

  3. 关于vs code的个人配置

      vs code官方下载地址 : https://code.visualstudio.com/Download   下载好的vs code相当是一款纯文本编辑器,接下来开始进行对其配置:   页面设 ...

  4. OA办公系统功能真的越全越好?

    4.原文:http://www.jiusi.net/detail/472__776__4000__1.html 关键词:oa系统,OA办公系统 OA办公系统功能真的越全越好? 很多企业在选择OA办公系 ...

  5. OC中@class的使用

    作用: 可以简单地引用一个类简单使用@class Dog; //类的引入 #import "Dog.h"仅仅是告诉编译器:Dog是一个类;并不会包含Dog这个类的所有内容 具体使用 ...

  6. Mqtt服务器搭建

    .bg { background: #99CC99 } Mqtt服务器搭建 测试环境:CentOS64位 1.安装基础软件 yum install gcc-c++ yum install cmake ...

  7. CSS3特效----制作3D旋转导航

    大致思路:首先给 three-d-box 设置一个 transition是不可少的 然后每个 a 标签里面有两个 span 一个叫 font 一个叫 back,默认状态下 font 旋转0度,也就是没 ...

  8. CentOS7.2静默安装oracle11g

    http://www.centoscn.com/image-text/config/2015/0528/5552.html http://www.linuxidc.com/Linux/2016-04/ ...

  9. [刷题]算法竞赛入门经典(第2版) 6-7/UVa804 - Petri Net Simulation

    题意:模拟Petri网的执行.虽然没听说过Petri网,但是题目描述的很清晰. 代码:(Accepted,0.210s) //UVa804 - Petri Net Simulation //Accep ...

  10. 深入学习webpack(一)

    深入学习webpack(一) 模块化的相关库和工具已经很多了,包括require.js.sea.js和一些工程化工具webpack.gulp.grant.那么我们该如何选择呢? 其实,我们只需要掌握了 ...