1. 查看IP地址,设为手动模式:

  1. 配置hadoop用户sudo权限

    su切换到root身份,配置vim /etc/sudoers文件,加入

    hadoop ALL=(root)NOPASSWD:ALL    

  2. 配置/opt文件夹的属主

    将/opt文件夹的属于由root:root改为hadoop

    sudo -R hadoop:hadoop /opt

  3. 关闭防火墙和禁用SELinux

    # service iptables stop

    # vim /etc/sysconfig/selinux 设置 SELINUX=disabled

  4. 查看(确认一下可省略)静态IP地址

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

  1. 修改HostName

    # hostname hadoop-master ##重启失效

    # vi /etc/sysconfig/network     ##永远有效

  2. IP与Hostname绑定

    # vi /etc/hosts

  3. 修改windows操作系统的hosts文件

    Càwindowsàsystem32àdriversàetcàhosts添加如下内容;

 

  1. 设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信,无密码登录

1)$ ssh-keygen -t rsa ##在/home/hadoop目录下

2)$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3)$ping localhost

$ping hadoop-master

$ping hadoop-master.dragon.org

$ping 192.168.38.180

  1. 准备工作

    在/opt文件夹下创建文件夹如下;

本课程软件安装的规则:

/opt    ---    父目录

/opt/modules    --    存放软件的安装目录

/opt/softwares    --    存放软件包(tar 包,bin 文件,zip 文件等)

/opt/tools    --    存储工具目录(Eclipse 等)

/opt/data    --    存储一些测试数据

/home/hadoop    --    存储工具盒测数据目录

  1. 安装JDK

1) 安装jdk之前要先卸载以前的版本,防止出现其他问题

rpm -qa|grep jdk ##查找安装的jdk

    rpm -e --nodeps 【查找到的内容】

2)安装

直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了

配置环境变量 vim /etc/profile

  1. Apache Hadoop伪分布模式安装

 $ tar -zxvf hadoop-1.2.1.tar.gz

设置环境变量/etc/profile 增加内容如下:

export HADOOP_HOME=/opt/modules/ hadoop-1.2.1

export PATH=.:$HADOOP_HOME/bin:$PATH

使设置生效

# source /etc/profile

    修改Hadoop中conf目录下的hadoop-env.sh文件,将Java的路径改为安装的路径

  1. 修改conf目录下的配置文件(使用UltraExit操作)
    1. hadoop-env.sh

      上面已经修改

    2. core-site.xml

    3. hdfs-site.xml

    4. mapred-site.xml

    5. 格式化

      $ hadoop namenode -format

 

  1. 至此已经配置完成下面启动五大守护进程

    在hadoop*安装目录中的bin目录下运行

    $start-all.sh

    查看启动结果:

  2. 在Google浏览器中查看

    1)查看dfs:http://hadoop-master.dragon.org:50070/

2)查看MP:http://hadoop-master.dragon.org:50030/

  1. 运行Wordcount测试

    $ hadoop fs -mkdir /wc

    $ hadoop fs -mkdir /wc/input

    $ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input

    $ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output

    运行结束

    结果图示

  2. 关闭五大守护进程

    $ /bin/stop-all.sh

     

至此hadoop伪分布式模式安装并测试成功

06_Hadoop配置伪分布式模式详解的更多相关文章

  1. hadoop 0.20.2伪分布式安装详解

    adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...

  2. 云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop

    一.实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二.实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm ...

  3. 使用docker搭建hadoop环境,并配置伪分布式模式

    docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜 ...

  4. cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置

    安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pa ...

  5. Spring AOP及事务配置三种模式详解

    Spring AOP简述 Spring AOP的设计思想,就是通过动态代理,在运行期对需要使用的业务逻辑方法进行增强. 使用场景如:日志打印.权限.事务控制等. 默认情况下,Spring会根据被代理的 ...

  6. Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)

    一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud  分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ...

  7. Ubuntu下伪分布式模式Hadoop的安装及配置

    1.Hadoop运行模式Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境 ...

  8. Spartan6系列之芯片配置模式详解

    1.   配置概述 Spartan6系列FPGA通过把应用程序数据导入芯片内部存储器完成芯片的配置.Spart-6 FPGA可以自己从外部非易失性存储器导入编程数据,或者通过外界的微处理器.DSP等对 ...

  9. 分布式事务 Seata Saga 模式首秀以及三种模式详解 | Meetup#3 回顾

    https://mp.weixin.qq.com/s/67NvEVljnU-0-6rb7MWpGw 分布式事务 Seata Saga 模式首秀以及三种模式详解 | Meetup#3 回顾 原创 蚂蚁金 ...

随机推荐

  1. Keil(MDK-ARM)使用教程(一)_界面+菜单

    Ⅰ.概述 今天总结Keil(MDK-ARM)界面和菜单相关的内容,详情请往下看. 关于Keil的下载.安装和新建工程我已将在前面做了详细的总结,不懂的可以参考我博客里面相关的文章.该文章是在新建好工程 ...

  2. ios 应用多语言自由切换实现

    第一次进入应用获取本机语言.1.假设本机语言在软件实现语言列表里.则默认选中本机语言,可是用户还是能够选择其他语言.2.假设本机语言不在软件实现语言列表里,则默认选中英语.用户还是能够选择其他语言. ...

  3. 我的第九个java程序--spring和mybatis整合(java project)

    思路:入口程序读spring的配置文件-配置文件注入给程序bean--程序拿到bean以操作对象的手法查出程序 入口程序HelloWorld.java package HelloWorld; impo ...

  4. 基于 UML 的业务建模举例

    简介: 对于管理流程咨询项目.大型信息化建设项目和套装管理软件实施项目,对业务环境的分析和理解对项目的成功至关重要.系统.全面理解 IT 系统所处的业务环境,可以帮助 IT 系统能提供正确系统功能,并 ...

  5. easyui datagrid加载数据的两种方式

    1.加载本地数据 var obj = {"total":2,"rows":[{id:"1",name:"一"},{id: ...

  6. java打开后台程序

    try{ String cmds="java -version"; Process p = Runtime.getRuntime().exec(cmds); int exitVal ...

  7. Android无线测试之—UiAutomator UiSelector API介绍之二

    Android的布局与组件及组件属性介绍 一.布局: 1)线性布局:控价在线性方向上一次排列 2)表格布局:向表格一样有标准的行和列 3)相对布局:通过相对定位的方式让控件出现在布局的任何位置 4)帧 ...

  8. 42、使用存放在存assets文件夹下的SQLite数据库

    因为这次的项目需要自带数据,所以就就把数据都放到一个SQLite的数据库文件中了,之后把该文件放到了assets文件夹下面.一开始打算每次都从assets文件夹下面把该文件夹拷贝到手机的SD卡或者手机 ...

  9. Viewpage实现左右无限滑动

    实现逻辑参考:http://www.cnblogs.com/xinye/archive/2013/06/09/3129140.html 代码:如下 public class MainActivity ...

  10. C语言练习题

    C语言练习题 1. 以下选项中,合法的一组C语言数值常量是(     ) A)028  .5e-3  .0xf B)12.  OXa23   4.5e0 C).177   4e1.5  Oabc D) ...