1、Hadoop的伪分布式部署
伪分布式模式搭建:
1、环境准备
# vi /etc/sysconfig/network
HOSTNAME=hadoo1 (不要用下划线)
# useradd conglitrs
# passwd conglitrs
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
IPADDR=192.168.17.128
NETMASK=255.255.255.0
GATEWAY=192.168.17.2
DNS1=202.96.209.5
DNS2=8.8.8.8
# service iptables stop
# chkconfig iptables off # vi /etc/sysconfig/selinux
SELINUX=disabled enforing
# vi /etc/hosts
192.168.xxx.xxx hadoop1
# reboot
2、目录
# mkdir /opt/softwares (root)
# mkdir /opt/modules (root)
# chown -R conglitrs:conglitrs /opt/ (root)
3、软件包
4、安装jdk
$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ (conglitrs用户)
# vi /etc/profile (root)
## JAVA HOME
JAVA_HOME=/opt/modules/jdk1..0_67
PATH=$PATH:$JAVA_HOME/bin $ source /etc/profile (conglitrs用户) # rpm -e --nodeps java-1.6.-openjdk-1.6.0.0-1.50.1.11..el6_3.x86_64
# rpm -e --nodeps tzdata-java-2012j-.el6.noarch
# rpm -e --nodeps java-1.7.-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
5、安装hadoop
$ tar zxvf hadoop-2.5..tar.gz -C /opt/modules/ (conglitrs)
6、使用notepad++工具修改配置
/opt/modules/hadoop-2.5./etc/hadoop
export JAVA_HOME=/opt/modules/jdk1..0_67
export JAVA_HOME=/opt/modules/jdk1..0_67
JAVA_HOME=/opt/modules/jdk1..0_67
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
7、启动hdfs
$ bin/hdfs namenode -format
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
$ jps 查看java进程
8、测试上传文件
$ bin/hdfs dfs -mkdir /input
$ bin/hdfs dfs -put /etc/yum.conf /input
$ bin/hdfs dfs -ls /input
$ bin/hdfs dfs -cat /input/yum.conf
9、修改yarn相关
/opt/modules/hadoop-2.5./etc/hadoop
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
10、启动yarn相关服务
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
11、浏览器浏览
http://192.168.xxx.xxx:50070/
http://192.168.xxx.xxx:8088/
12、简单mapreduce测试
$ vi sort.txt
hadoop marpreduce
map reduce
hadoop reduce
hadoop yarn $ bin/hdfs dfs -put sort.txt /input
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5..jar wordcount /input/sort.txt /output
总结
1、Hadoop的伪分布式部署的更多相关文章
- Hadoop1 Centos伪分布式部署
前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...
- hadoop搭建伪分布式集群(centos7+hadoop-3.1.0/2.7.7)
目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SE ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- hadoop3.1伪分布式部署
1.环境准备 系统版本:CentOS7.5 主机名:node01 hadoop3.1 的下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hado ...
- 大数据技术之Hadoop3.1.2版本伪分布式部署
大数据技术之Hadoop3.1.2版本伪分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.主机环境准备 1>.操作系统环境 [root@node101.yinzh ...
- Hadoop之伪分布式安装
一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...
- ActiveMQ5.14.1+Zookeeper3.4.9高可用伪分布式部署
本文借鉴http://www.cnblogs.com/gossip/p/5977489.html,在此基础上进行了完善,使之成为一个完整版的伪分布式部署说明,在此记录一下! 一.本文目的 ...
- Hadoop:Hadoop单机伪分布式的安装和配置
http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...
- CentOS7 下 Hadoop 单节点(伪分布式)部署
Hadoop 下载 (2.9.2) https://hadoop.apache.org/releases.html 准备工作 关闭防火墙 (也可放行) # 停止防火墙 systemctl stop f ...
随机推荐
- Service随系统启动运行
Android系统启动时,会发出android.intent.action.BOOT_COMPLETED广播,定义一个类继承自BroadcastReceiver,监听该广播,并在收到该广播时启动Ser ...
- 【Java每日一题】20161020
20161019问题解析请点击今日问题下方的"[Java每日一题]20161020"查看 package Oct2016; public class Ques1020 { publ ...
- Python 3 and MySQL
http://stackoverflow.com/questions/4960048/python-3-and-mysql up vote61down votefavorite 20 I am usi ...
- 设置surfaceView的背景为透明
1. [代码][Java]代码 下面三句话加上就好了. surfaceView.setZOrderOnTop(true); surfaceView.setEGLConfigChooser(, , ...
- Java --HashMap源码解析
兴趣所致研究一下HashMap的源码,写下自己的理解,基于JDK1.8. 本文大概分析HashMap的put(),get(),resize()三个方法. 首先让我们来看看put()方法. public ...
- GJM:C# WinForm开发系列 - DataGridView 使用方法集锦 [转载]
1.DataGridView实现课程表 testcontrol.rar 2.DataGridView二维表头及单元格合并 DataGridView单元格合并和二维表头.rar myMultiColHe ...
- AngularJs学习第一课 Hello World
首先先介绍一下:AngularJS是干什么的. AngularJS是为了克服HTML在构建应用上的不足而设计的.HTML是一门很好的为静态文本展示设计的声明式语言,但要构建WEB应用的话它就显得乏力了 ...
- Windows 安装 GTK+ 图文说明
首先去官方下载: //官方网站 http://www.gtk.org/download/index.php //下载链接 http://win32builder.gnome.org/gtk+-bund ...
- 通过gulp为requireJs引入的模块添加版本号
由于项目用到requireJs,并且通过gulp来对项目进行统一的管理,为了防止浏览器对文件进行缓存,所以通过gulp为项目中的文件添加版本号. 1.分别安装gulp-rev.gulp-rev-col ...
- sharepoint2010问卷调查(1)-实现问卷的图片调查(采用JS实现)
1. 首先建立个图片库上传图片 2. 采用:评估范围(一系列选项或 Likert 范围)制作,如下图: http://win-i07fillcfom:8003/DocLib2/1.jpg http ...