伪分布式模式搭建:

 

1、环境准备

(1)主机名(root用户)

 # vi /etc/sysconfig/network
HOSTNAME=hadoo1 (不要用下划线)
(2)创建普通用户conglitrs(后期课程里面都会用这个用户去操作)
    # useradd conglitrs
# passwd conglitrs
(3)把IP地址设置成静态IP(服务器是固定IP)
    虚拟机如下:
    # setup   --console
    或者

# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
IPADDR=192.168.17.128
NETMASK=255.255.255.0
GATEWAY=192.168.17.2
DNS1=202.96.209.5
DNS2=8.8.8.8
(4)关闭防火墙和selinux

 # service iptables stop
# chkconfig iptables off # vi /etc/sysconfig/selinux
SELINUX=disabled enforing
(5)添加hosts文件

   # vi /etc/hosts
192.168.xxx.xxx hadoop1
(6)重启服务器

  # reboot   
 

2、目录

  # mkdir /opt/softwares   (root)
# mkdir /opt/modules (root)
# chown -R conglitrs:conglitrs /opt/ (root)
 

3、软件包

    xmanager  -->  hadoop2.5.0    jdk
 

4、安装jdk

$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/  (conglitrs用户)
# vi /etc/profile (root)
## JAVA HOME
JAVA_HOME=/opt/modules/jdk1..0_67
PATH=$PATH:$JAVA_HOME/bin $ source /etc/profile (conglitrs用户) # rpm -e --nodeps java-1.6.-openjdk-1.6.0.0-1.50.1.11..el6_3.x86_64
# rpm -e --nodeps tzdata-java-2012j-.el6.noarch
# rpm -e --nodeps java-1.7.-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
 
 

5、安装hadoop

 
$ tar zxvf hadoop-2.5..tar.gz -C /opt/modules/  (conglitrs)
 
 

6、使用notepad++工具修改配置

/opt/modules/hadoop-2.5./etc/hadoop
 
hadoop-env.sh:
export JAVA_HOME=/opt/modules/jdk1..0_67
 
yarn-env.sh:
export JAVA_HOME=/opt/modules/jdk1..0_67
 
mapred-env.sh
JAVA_HOME=/opt/modules/jdk1..0_67
 
core-site.xml:

 <property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
 
hdfs-site.xml:
    <property>
<name>dfs.replication</name>
<value>1</value>
</property>
 

7、启动hdfs

hdfs -- >> (第一次)format  -->  start
 
$ bin/hdfs namenode -format
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
$ jps 查看java进程
 

8、测试上传文件

$ bin/hdfs dfs -mkdir /input
$ bin/hdfs dfs -put /etc/yum.conf /input
$ bin/hdfs dfs -ls /input
$ bin/hdfs dfs -cat /input/yum.conf
 

9、修改yarn相关

/opt/modules/hadoop-2.5./etc/hadoop
mapred-site.xml:

   <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml:

 <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
 

10、启动yarn相关服务

$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
 
 

11、浏览器浏览

http://192.168.xxx.xxx:50070/
http://192.168.xxx.xxx:8088/
 

12、简单mapreduce测试

 
$ vi sort.txt
hadoop marpreduce
map reduce
hadoop reduce
hadoop yarn $ bin/hdfs dfs -put sort.txt /input
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5..jar wordcount /input/sort.txt /output

总结

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

1、Hadoop的伪分布式部署的更多相关文章

  1. Hadoop1 Centos伪分布式部署

    前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...

  2. hadoop搭建伪分布式集群(centos7+hadoop-3.1.0/2.7.7)

    目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SE ...

  3. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  4. hadoop3.1伪分布式部署

    1.环境准备 系统版本:CentOS7.5 主机名:node01 hadoop3.1 的下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hado ...

  5. 大数据技术之Hadoop3.1.2版本伪分布式部署

    大数据技术之Hadoop3.1.2版本伪分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.主机环境准备 1>.操作系统环境 [root@node101.yinzh ...

  6. Hadoop之伪分布式安装

    一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...

  7. ActiveMQ5.14.1+Zookeeper3.4.9高可用伪分布式部署

    本文借鉴http://www.cnblogs.com/gossip/p/5977489.html,在此基础上进行了完善,使之成为一个完整版的伪分布式部署说明,在此记录一下! 一.本文目的       ...

  8. Hadoop:Hadoop单机伪分布式的安装和配置

    http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...

  9. CentOS7 下 Hadoop 单节点(伪分布式)部署

    Hadoop 下载 (2.9.2) https://hadoop.apache.org/releases.html 准备工作 关闭防火墙 (也可放行) # 停止防火墙 systemctl stop f ...

随机推荐

  1. Service随系统启动运行

    Android系统启动时,会发出android.intent.action.BOOT_COMPLETED广播,定义一个类继承自BroadcastReceiver,监听该广播,并在收到该广播时启动Ser ...

  2. 【Java每日一题】20161020

    20161019问题解析请点击今日问题下方的"[Java每日一题]20161020"查看 package Oct2016; public class Ques1020 { publ ...

  3. Python 3 and MySQL

    http://stackoverflow.com/questions/4960048/python-3-and-mysql up vote61down votefavorite 20 I am usi ...

  4. 设置surfaceView的背景为透明

    1. [代码][Java]代码    下面三句话加上就好了. surfaceView.setZOrderOnTop(true); surfaceView.setEGLConfigChooser(, , ...

  5. Java --HashMap源码解析

    兴趣所致研究一下HashMap的源码,写下自己的理解,基于JDK1.8. 本文大概分析HashMap的put(),get(),resize()三个方法. 首先让我们来看看put()方法. public ...

  6. GJM:C# WinForm开发系列 - DataGridView 使用方法集锦 [转载]

    1.DataGridView实现课程表 testcontrol.rar 2.DataGridView二维表头及单元格合并 DataGridView单元格合并和二维表头.rar myMultiColHe ...

  7. AngularJs学习第一课 Hello World

    首先先介绍一下:AngularJS是干什么的. AngularJS是为了克服HTML在构建应用上的不足而设计的.HTML是一门很好的为静态文本展示设计的声明式语言,但要构建WEB应用的话它就显得乏力了 ...

  8. Windows 安装 GTK+ 图文说明

    首先去官方下载: //官方网站 http://www.gtk.org/download/index.php //下载链接 http://win32builder.gnome.org/gtk+-bund ...

  9. 通过gulp为requireJs引入的模块添加版本号

    由于项目用到requireJs,并且通过gulp来对项目进行统一的管理,为了防止浏览器对文件进行缓存,所以通过gulp为项目中的文件添加版本号. 1.分别安装gulp-rev.gulp-rev-col ...

  10. sharepoint2010问卷调查(1)-实现问卷的图片调查(采用JS实现)

      1. 首先建立个图片库上传图片 2. 采用:评估范围(一系列选项或 Likert 范围)制作,如下图: http://win-i07fillcfom:8003/DocLib2/1.jpg http ...