一、Hadoop的优势

1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。

2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

3) 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

4)高容错性:自动保存多份副本数据,并且能够自动将失败的任务重新分配。

二、Hadoop组成

1)Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。

2)Hadoop MapReduce:一个分布式的离线并行计算框架。

3)Hadoop YARN:作业调度与集群资源管理的框架。

4)Hadoop Common:支持其他模块的工具模块。

2.1  HDFS(Hadoop Distributed File System)架构概述

1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。

  2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

  3)Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

2.2 YARN架构概述

  1)ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;

  2)NodeManager(nm):单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令;

  3)ApplicationMaster:数据切分、为应用程序申请资源,并分配给内部任务、任务监控与容错。

  4)Container:对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。

  2.3 MapReduce架构概述

  MapReduce将计算过程分为两个阶段:Map和Reduce

  1)Map阶段并行处理输入数据

  2)Reduce阶段对Map结果进行汇总  

三、Hadoop环境搭建

  1 虚拟机网络模式设置为NAT

    

  最后,重新启动系统。

  2.修改为静态ip

   1)使用命令   vim /etc/sysconfig/network-scripts/ifcfg-eth0

    2)修改选项有五项:    

    IPADDR=192.168.110.61

    GATEWAY=192.168.110.2

    ONBOOT=yes

    BOOTPROTO=static

    DNS1=192.168.110.2

    

    修改完成后保存退出(:wq )

    3)执行service network restart

    4)如果报错,reboot,重启虚拟机

  3.修改主机名 

    1)修改linux的hosts文件

      (1)进入Linux系统查看本机的主机名。通过hostname命令查看

              

      (2)如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件

               

      (3)修改后保存退出

      (4)编辑

        vim /etc/hosts

             

      (5)并重启设备,重启后,查看主机名,已经修改成功

    4.关闭防火墙     

      1)查看防火墙开机启动状态

        chkconfig iptables --list

      2)关闭防火墙

        chkconfig iptables off

    5.安装jdk 

      1)卸载现有jdk

        (1)查询安装jdk的版本:

          java -version

        (2)查询是否安装java软件:

            rpm -qa|grep java

        (3)如果安装的版本低于1.7,卸载该jdk:

          rpm -e 软件包

      2)用filezilla工具将jdk导入到usr目录下面的java文件夹下面

       3)在linux系统下的usr目录中查看软件包是否导入成功(使用.gz包或者.rpm包,本处使用.rpm包)。

        

       4).gz包使用命令  tar -zxf jdk***.gz  解压到当前目录;  .rpm包使用命令  rpm -ivh jdk***.rpm   进行安装.

     5)配置jdk环境变量

        (1) 先获取jdk路径:使用命令pwd

            

        (2)打开/etc/profile文件:

           vi /etc/profile

           在profie文件末尾添加jdk路径:

        #set java environment
            JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
            JRE_HOME=/usr/java/jdk1.8.0_171-amd64/jre
            CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
             PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
             export JAVA_HOME JRE_HOME CLASS_PATH PATH

          

        (3)保存后退出:

          :wq

      (4)让修改后的文件生效:

          

     6)重启(如果java –version可以用就不用重启):

     7)  测试jdk安装成功

        

      

四、安装Hadoop

  1)通过用filezilla工具将Hadoop导入/usr/local/src/中,官方下载地址:http://mirrors.shu.edu.cn/apache/hadoop/common/

    

  2)解压安装文件  tar -zxf hadoop-2.7.6.tar.gz

  3)配置hadoop中的hadoop-env.sh

    (1)Linux系统中获取jdk的安装路径:

      

      (2)进入 hadoop-2.7.6/etc/hadoop/中 ,修改hadoop-env.sh文件中JAVA_HOME 路径:

export JAVA_HOME=/opt/module/jdk1.7.0_79

  4)将hadoop添加到环境变量

    (1)获取hadoop安装路径:  

      

     (2)打开/etc/profile文件:

      在profie文件末尾添加hadoop路径:

        #HADOOP_HOME

        export HADOOP_HOME=/usr/local/src/hadoop-2.7.6
        export PATH=$PATH:$HADOOP_HOME/bin
        export PATH=$PATH:$HADOOP_HOME/sbin

     

    (3)保存后退出:

        :wq

    (4)让修改后的文件生效:

       

    (5)使用hadoop查看是否安装成功,如果hadoop命令不能使用则重启再查看。

       

        

大数据学习之Hadoop环境搭建的更多相关文章

  1. 大数据之路- Hadoop环境搭建(Linux)

    前期部署 1.JDK 2.上传HADOOP安装包 2.1官网:http://hadoop.apache.org/ 2.2下载hadoop-2.6.1的这个tar.gz文件,官网: https://ar ...

  2. 大数据学习笔记——Hadoop编程实战之HDFS

    HDFS基本API的应用(包含IDEA的基本设置) 在上一篇博客中,本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台,那么,在上一篇的基础上,我们终于可以进行编程实操了,同样,在编程 ...

  3. 《OD大数据实战》Hive环境搭建

    一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.Hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cd ...

  4. 大数据学习之Hadoop快速入门

    1.Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠.高效 ...

  5. 《OD大数据实战》Hue环境搭建

    官网: http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一.Hue环境搭建 1. 下载 http://archive.cloude ...

  6. 大数据学习笔记——Hadoop编程之SequenceFile

    SequenceFile(Hadoop序列文件)基础知识与应用 上篇编程实战系列中本人介绍了基本的使用HDFS进行文件读写的方法,这一篇将承接上篇重点整理一下SequenceFile的相关知识及应用 ...

  7. 大数据学习笔记——Hadoop高可用完全分布式模式完整部署教程(包含zookeeper)

    高可用模式下的Hadoop集群搭建 本篇博客将会在之前写过的Linux的完整部署的基础上进行,暂时不会涉及到伪分布式或者完全分布式模式搭建,由于HA模式涉及到的配置文件较多,维护起来也较为复杂,相信学 ...

  8. 《OD大数据实战》MongoDB环境搭建

    一.MongonDB环境搭建 1. 下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2. 解压 tar -zxvf ...

  9. 《OD大数据实战》HBase环境搭建

    一.环境搭建 1. 下载 hbase-0.98.6-cdh5.3.6.tar.gz 2. 解压 tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modul ...

随机推荐

  1. X11/Xlib.h:没有该文件或目录

    编译程序时出现的错误,在安装日志上发现一句:x11/xlib.h nosuch file or directory 在网上查阅了资料,原来是x11M没有装. 解决方案:先安装X11,命令为    su ...

  2. windows下安装jmeter

    windows下安装jmeter post by rocdk890 / 2012-8-19 16:08 Sunday windows技术 发表评论 JMeter是Apache软件基金会的产品,用于对静 ...

  3. MVC5中Model设置属性注解

    ASP.NET MVC5中Model层开发,使用的数据注解有三个作用: 数据映射(把Model层的类用EntityFramework映射成对应的表) 数据验证(在服务器端和客户端验证数据的有效性) 数 ...

  4. ipsec验证xl2tpd报错:handle_packet: bad control packet!

    使用ipsec和xl2tpd搭建好vpn后,使用ipsec密钥方式不能连接,显示 “连接的时候被远程服务器中止” 使用xl2tpd -D查看连接情况,尝试连接了许多次,错误如下: 开始不确定问题所在, ...

  5. C++ 源代码到可执行代码的详细过程

    编译,编译程序读取源程序(字符流),对之进行词法和语法的分析,将高级语言指令转换为功能等效的汇编代码,再由汇编程序转换为机器语言,并且按照操作系统对可执行文件格式的要求链接生成可执行程序. 源代码-- ...

  6. Windows下Redis集群配置

    Redis集群学习地址:http://blog.csdn.net/dc_726/article/details/11694437 Windows-32系统下搭建Redis集群 一.Redis主从同步原 ...

  7. 【深入理解JAVA虚拟机】第4部分.程序编译与代码优化.1.编译期优化。这章编译和实战部分没理解通,以后再看。

    1.概述 1.1.编译器的分类 前端编译器:Sun的Javac. Eclipse JDT中的增量式编译器(ECJ)[1].  把*.java文件转变成*.class文件 JIT编译器:HotSpot ...

  8. zt 李鸿章听过《彩云追月》?

    ZT 李鸿章听过<彩云追月>? 2013-05-11 09:35:52 编辑 删除 归档在 观世上之音 | 浏览 1041 次 | 评论 1 条 尝试在网上找一点有关<彩云追月> ...

  9. SAP S/4HANA extensibility扩展原理介绍

    SAP产品总的extensibility扩展原理介绍: 看Jerry这篇文章. SAP Cloud for Customer Extensibility的设计与实现 我的同事Boris写的. 而本文是 ...

  10. [原]零基础学习在Android进行SDL开发后记

    本着学习交流记录的目的编写了这个系列文章,主要用来记录如何从零开始学习SDL开发的过程,在这个过程中遇到了很多问题,差点就放弃了.首先是SDL的Android移植的时候遇到了比较坑的是SDL移植到An ...