06_Hadoop配置伪分布式模式详解
- 查看IP地址,设为手动模式:
- 配置hadoop用户sudo权限
su切换到root身份,配置vim /etc/sudoers文件,加入
hadoop ALL=(root)NOPASSWD:ALL
- 配置/opt文件夹的属主
将/opt文件夹的属于由root:root改为hadoop
sudo -R hadoop:hadoop /opt
- 关闭防火墙和禁用SELinux
# service iptables stop
# vim /etc/sysconfig/selinux 设置 SELINUX=disabled
- 查看(确认一下可省略)静态IP地址
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
- 修改HostName
# hostname hadoop-master ##重启失效
# vi /etc/sysconfig/network ##永远有效
- IP与Hostname绑定
# vi /etc/hosts
- 修改windows操作系统的hosts文件
Càwindowsàsystem32àdriversàetcàhosts添加如下内容;
- 设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信,无密码登录
1)$ ssh-keygen -t rsa ##在/home/hadoop目录下
2)$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3)$ping localhost
$ping hadoop-master
$ping hadoop-master.dragon.org
$ping 192.168.38.180
- 准备工作
在/opt文件夹下创建文件夹如下;
本课程软件安装的规则:
/opt --- 父目录
/opt/modules -- 存放软件的安装目录
/opt/softwares -- 存放软件包(tar 包,bin 文件,zip 文件等)
/opt/tools -- 存储工具目录(Eclipse 等)
/opt/data -- 存储一些测试数据
/home/hadoop -- 存储工具盒测数据目录
- 安装JDK
1) 安装jdk之前要先卸载以前的版本,防止出现其他问题
rpm -qa|grep jdk ##查找安装的jdk
rpm -e --nodeps 【查找到的内容】
2)安装
直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了
配置环境变量 vim /etc/profile
- Apache Hadoop伪分布模式安装
$ tar -zxvf hadoop-1.2.1.tar.gz
设置环境变量/etc/profile 增加内容如下:
export HADOOP_HOME=/opt/modules/ hadoop-1.2.1
export PATH=.:$HADOOP_HOME/bin:$PATH
使设置生效
# source /etc/profile
修改Hadoop中conf目录下的hadoop-env.sh文件,将Java的路径改为安装的路径
- 修改conf目录下的配置文件(使用UltraExit操作)
- hadoop-env.sh
上面已经修改
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
- 格式化
$ hadoop namenode -format
- 至此已经配置完成下面启动五大守护进程
在hadoop*安装目录中的bin目录下运行
$start-all.sh
查看启动结果:
- 在Google浏览器中查看
1)查看dfs:http://hadoop-master.dragon.org:50070/
2)查看MP:http://hadoop-master.dragon.org:50030/
- 运行Wordcount测试
$ hadoop fs -mkdir /wc
$ hadoop fs -mkdir /wc/input
$ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input
$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output
运行结束
结果图示
- 关闭五大守护进程
$ /bin/stop-all.sh
至此hadoop伪分布式模式安装并测试成功
06_Hadoop配置伪分布式模式详解的更多相关文章
- hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
- 云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop
一.实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二.实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm ...
- 使用docker搭建hadoop环境,并配置伪分布式模式
docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜 ...
- cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置
安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pa ...
- Spring AOP及事务配置三种模式详解
Spring AOP简述 Spring AOP的设计思想,就是通过动态代理,在运行期对需要使用的业务逻辑方法进行增强. 使用场景如:日志打印.权限.事务控制等. 默认情况下,Spring会根据被代理的 ...
- Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)
一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud 分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ...
- Ubuntu下伪分布式模式Hadoop的安装及配置
1.Hadoop运行模式Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境 ...
- Spartan6系列之芯片配置模式详解
1. 配置概述 Spartan6系列FPGA通过把应用程序数据导入芯片内部存储器完成芯片的配置.Spart-6 FPGA可以自己从外部非易失性存储器导入编程数据,或者通过外界的微处理器.DSP等对 ...
- 分布式事务 Seata Saga 模式首秀以及三种模式详解 | Meetup#3 回顾
https://mp.weixin.qq.com/s/67NvEVljnU-0-6rb7MWpGw 分布式事务 Seata Saga 模式首秀以及三种模式详解 | Meetup#3 回顾 原创 蚂蚁金 ...
随机推荐
- Keil(MDK-ARM)使用教程(一)_界面+菜单
Ⅰ.概述 今天总结Keil(MDK-ARM)界面和菜单相关的内容,详情请往下看. 关于Keil的下载.安装和新建工程我已将在前面做了详细的总结,不懂的可以参考我博客里面相关的文章.该文章是在新建好工程 ...
- ios 应用多语言自由切换实现
第一次进入应用获取本机语言.1.假设本机语言在软件实现语言列表里.则默认选中本机语言,可是用户还是能够选择其他语言.2.假设本机语言不在软件实现语言列表里,则默认选中英语.用户还是能够选择其他语言. ...
- 我的第九个java程序--spring和mybatis整合(java project)
思路:入口程序读spring的配置文件-配置文件注入给程序bean--程序拿到bean以操作对象的手法查出程序 入口程序HelloWorld.java package HelloWorld; impo ...
- 基于 UML 的业务建模举例
简介: 对于管理流程咨询项目.大型信息化建设项目和套装管理软件实施项目,对业务环境的分析和理解对项目的成功至关重要.系统.全面理解 IT 系统所处的业务环境,可以帮助 IT 系统能提供正确系统功能,并 ...
- easyui datagrid加载数据的两种方式
1.加载本地数据 var obj = {"total":2,"rows":[{id:"1",name:"一"},{id: ...
- java打开后台程序
try{ String cmds="java -version"; Process p = Runtime.getRuntime().exec(cmds); int exitVal ...
- Android无线测试之—UiAutomator UiSelector API介绍之二
Android的布局与组件及组件属性介绍 一.布局: 1)线性布局:控价在线性方向上一次排列 2)表格布局:向表格一样有标准的行和列 3)相对布局:通过相对定位的方式让控件出现在布局的任何位置 4)帧 ...
- 42、使用存放在存assets文件夹下的SQLite数据库
因为这次的项目需要自带数据,所以就就把数据都放到一个SQLite的数据库文件中了,之后把该文件放到了assets文件夹下面.一开始打算每次都从assets文件夹下面把该文件夹拷贝到手机的SD卡或者手机 ...
- Viewpage实现左右无限滑动
实现逻辑参考:http://www.cnblogs.com/xinye/archive/2013/06/09/3129140.html 代码:如下 public class MainActivity ...
- C语言练习题
C语言练习题 1. 以下选项中,合法的一组C语言数值常量是( ) A)028 .5e-3 .0xf B)12. OXa23 4.5e0 C).177 4e1.5 Oabc D) ...