1. 查看IP地址,设为手动模式:

  1. 配置hadoop用户sudo权限

    su切换到root身份,配置vim /etc/sudoers文件,加入

    hadoop ALL=(root)NOPASSWD:ALL    

  2. 配置/opt文件夹的属主

    将/opt文件夹的属于由root:root改为hadoop

    sudo -R hadoop:hadoop /opt

  3. 关闭防火墙和禁用SELinux

    # service iptables stop

    # vim /etc/sysconfig/selinux 设置 SELINUX=disabled

  4. 查看(确认一下可省略)静态IP地址

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

  1. 修改HostName

    # hostname hadoop-master ##重启失效

    # vi /etc/sysconfig/network     ##永远有效

  2. IP与Hostname绑定

    # vi /etc/hosts

  3. 修改windows操作系统的hosts文件

    Càwindowsàsystem32àdriversàetcàhosts添加如下内容;

 

  1. 设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信,无密码登录

1)$ ssh-keygen -t rsa ##在/home/hadoop目录下

2)$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3)$ping localhost

$ping hadoop-master

$ping hadoop-master.dragon.org

$ping 192.168.38.180

  1. 准备工作

    在/opt文件夹下创建文件夹如下;

本课程软件安装的规则:

/opt    ---    父目录

/opt/modules    --    存放软件的安装目录

/opt/softwares    --    存放软件包(tar 包,bin 文件,zip 文件等)

/opt/tools    --    存储工具目录(Eclipse 等)

/opt/data    --    存储一些测试数据

/home/hadoop    --    存储工具盒测数据目录

  1. 安装JDK

1) 安装jdk之前要先卸载以前的版本,防止出现其他问题

rpm -qa|grep jdk ##查找安装的jdk

    rpm -e --nodeps 【查找到的内容】

2)安装

直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了

配置环境变量 vim /etc/profile

  1. Apache Hadoop伪分布模式安装

 $ tar -zxvf hadoop-1.2.1.tar.gz

设置环境变量/etc/profile 增加内容如下:

export HADOOP_HOME=/opt/modules/ hadoop-1.2.1

export PATH=.:$HADOOP_HOME/bin:$PATH

使设置生效

# source /etc/profile

    修改Hadoop中conf目录下的hadoop-env.sh文件,将Java的路径改为安装的路径

  1. 修改conf目录下的配置文件(使用UltraExit操作)
    1. hadoop-env.sh

      上面已经修改

    2. core-site.xml

    3. hdfs-site.xml

    4. mapred-site.xml

    5. 格式化

      $ hadoop namenode -format

 

  1. 至此已经配置完成下面启动五大守护进程

    在hadoop*安装目录中的bin目录下运行

    $start-all.sh

    查看启动结果:

  2. 在Google浏览器中查看

    1)查看dfs:http://hadoop-master.dragon.org:50070/

2)查看MP:http://hadoop-master.dragon.org:50030/

  1. 运行Wordcount测试

    $ hadoop fs -mkdir /wc

    $ hadoop fs -mkdir /wc/input

    $ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input

    $ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output

    运行结束

    结果图示

  2. 关闭五大守护进程

    $ /bin/stop-all.sh

     

至此hadoop伪分布式模式安装并测试成功

06_Hadoop配置伪分布式模式详解的更多相关文章

  1. hadoop 0.20.2伪分布式安装详解

    adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...

  2. 云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop

    一.实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二.实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm ...

  3. 使用docker搭建hadoop环境,并配置伪分布式模式

    docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜 ...

  4. cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置

    安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pa ...

  5. Spring AOP及事务配置三种模式详解

    Spring AOP简述 Spring AOP的设计思想,就是通过动态代理,在运行期对需要使用的业务逻辑方法进行增强. 使用场景如:日志打印.权限.事务控制等. 默认情况下,Spring会根据被代理的 ...

  6. Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)

    一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud  分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ...

  7. Ubuntu下伪分布式模式Hadoop的安装及配置

    1.Hadoop运行模式Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境 ...

  8. Spartan6系列之芯片配置模式详解

    1.   配置概述 Spartan6系列FPGA通过把应用程序数据导入芯片内部存储器完成芯片的配置.Spart-6 FPGA可以自己从外部非易失性存储器导入编程数据,或者通过外界的微处理器.DSP等对 ...

  9. 分布式事务 Seata Saga 模式首秀以及三种模式详解 | Meetup#3 回顾

    https://mp.weixin.qq.com/s/67NvEVljnU-0-6rb7MWpGw 分布式事务 Seata Saga 模式首秀以及三种模式详解 | Meetup#3 回顾 原创 蚂蚁金 ...

随机推荐

  1. ZOJ 3962 Seven Segment Display 16进制的八位数加n。求加的过程中所有的花费。显示[0,F]有相应花费。

    Seven Segment Display Time Limit: Seconds Memory Limit: KB A seven segment display, or seven segment ...

  2. SHELL $RANDOM产生的随机数范围是0到32767

    1.使用系统的 $RANDOM 变量 fdipzone@ubuntu:~$ echo $RANDOM 17617 fdipzone@ubuntu:~$ echo $RANDOM 17617 $RAND ...

  3. Redis遍历所有key的两个命令 -- KEYS 和 SCAN

    当我们需要遍历Redis所有key或者指定模式的key时,首先想到的是KEYS命令: KEYS pattern   官网对于KEYS命令有一个提示: KEYS 的速度非常快,例如,Redis在一个有1 ...

  4. spark 1.3 发布了

    悄悄地,spark 还是像往常一样,发布了1.3版本,从release notes可以看出,这一版本比较大的变化是1. 增加了DataFrame API,这样以后操作一些结构化的数据集时将会变的非常方 ...

  5. linux oracle error解决记录

    1.sqlplus / as sysdba后使用select instance_name,status from v$instance后出错: ERROR:ORA-01034: ORACLE not ...

  6. awk特征相同行的合并

    [root@linux-node1 ~]# cat test.txt hisk01 hisk02 hisk03 hisk04 hisk05 hisk06 hisk07 hisk08 [root@lin ...

  7. HDOJ 4549 M斐波那契数列 费马小定理+矩阵高速幂

    MF( i ) = a ^ fib( i-1 ) * b ^ fib ( i )   ( i>=3) mod 1000000007 是质数 , 依据费马小定理  a^phi( p ) = 1 ( ...

  8. 5-1、easyUI-菜单与按钮(上节问题与解决)

    首先把上节的代码copy过来,如下: <html> <head> <meta http-equiv="Content-Type" content=&q ...

  9. CodeIgniter框架——CI组件间信息流走向

    组件间信息流的走向图: 实线表示直接函数调用. 这些信息流可以从控制器到视图,也可以从控制器到类库或模型.(模型也能调用视图,但理论上这样做不合适.)相反方向就不能调用,如:视图不能调用控制器.然而, ...

  10. 【BZOJ4825】[Hnoi2017]单旋 线段树+set

    [BZOJ4825][Hnoi2017]单旋 Description H 国是一个热爱写代码的国家,那里的人们很小去学校学习写各种各样的数据结构.伸展树(splay)是一种数据结构,因为代码好写,功能 ...