Hadoop生态系统的特点

1）源代码开源
2）社区活跃，参与者多
3）涉及分布式存储和计算的各方面
4）已得到企业界的验证

Hadoop构成

1） 分布式文件系统HDFS（Hadoop Distributed File System）
------------提供了高可靠性、高扩展性和高吞吐率的数据存储服务

2）资源管理系统YARN（Yet Another Resource Negotiator）
-----------负责集群资源的统一管理和调度

3）分布式计算框架（MapReduce）
-----------具有易于编程、高容错性和高扩展性等优点

分布式文件系统HDFS

来源于Google的GFS论文

  • 2003年10月发表
  • HDFS是GFS克隆版

HDFS特点

  • 良好的扩展性（增加机器进行扩展）
  • 高容错性（存储了多份，数据有备份）
  • 适合PB即以上海量数据的存储

基本原理

  • 将文件切分成等大的数据块，存储到多态机器上
  • 将数据切分、容错、负载均衡等功能透明化
  • 可将HDFS看成一个容量巨大、具有高容错性的磁盘

典型应用场景

  • 海量数据的可靠性存储
  • 数据归档

资源管理系统YARN

什么是YARN

  • Hadoop 2.0新增系统
  • 负责集群的资源管理和调度
  • 使得多种计算框架可以运行在一个集群中

YARN 的特点

  • 良好的扩展性、高可用性
  • 对多种类型的应用程序进行统一管理和调度
  • 自带了多种多用户调度器，适合共享集群环境

分布式计算框架MapReduce

源自于Google的MapReduce论文

  • 2004年12月发表
  • Hadoop MapReduce 是Google MapReduce 克隆版

MapReduce特点

  • 良好的扩展性
  • 高容错性
  • 适合PB级以上海量数据的离线处理

其它

  • 基于MR的数据仓库Hive
  • 数据分析工具Pig
  • 数据挖掘仓库Mahout
  • 分布式数据库HBase
  • 分布式协作服务Zookeeper
  • 数据同步工具Sqoop
  • 日志收集工具Flume

Hadoop学习1（初识hadoop）的更多相关文章

  1. 大数据Hadoop学习之搭建hadoop平台（2.2）

    关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...

  2. [转帖]hadoop学习笔记：hadoop文件系统浅析

    hadoop学习笔记:hadoop文件系统浅析 https://www.cnblogs.com/sharpxiajun/archive/2013/06/15/3137765.html 1.什么是分布式 ...

  3. Hadoop学习笔记【Hadoop家族成员概述】

    Hadoop家族成员概述 一.Hadoop简介 1.1 什么是Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会所开发,目前Yahoo!是其最重要的贡献者. Hadoop实现了 ...

  4. Hadoop学习4--安装Hadoop

    首先献上Hadoop下载地址: http://apache.fayea.com/hadoop/core/ 选择相应版本,点一下,直接进行http下载了. 对原来写的一篇文章,相当不满意,过于粗糙了,于 ...

  5. 大数据Hadoop学习之搭建Hadoop平台（2.1）

     关于大数据,一看就懂,一懂就懵. 一.简介 Hadoop的平台搭建,设置为三种搭建方式,第一种是"单节点安装",这种安装方式最为简单,但是并没有展示出Hadoop的技术优势,适合 ...

  6. 大数据Hadoop学习之了解Hadoop（1）

    关于大数据,一看就懂,一懂就懵. 大数据的发展也有些年头了,如今正走在风口浪尖上,作为小白,我也来凑一份热闹. 大数据经过多年的发展,有着不同的实现方案和分支,不过,要说大数据实现方案中的翘楚,那就是 ...

  7. 【Hadoop学习之三】Hadoop全分布式安装

    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop3.1.1 全分布式就是集群,注意配置主机名. ...

  8. 吴裕雄--天生自然HADOOP学习笔记：hadoop集群实现PageRank算法实验报告

    实验课程名称:大数据处理技术 实验项目名称:hadoop集群实现PageRank算法 实验类型:综合性 实验日期:2018年 6 月4日-6月14日 学生姓名 吴裕雄 学号 15210120331 班 ...

  9. Hadoop学习日志- install hadoop

    资料来源 : http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm Hadoop 安装 创建新用户 $ su passwo ...

  10. Hadoop学习笔记—6.Hadoop Eclipse插件的使用

    开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...

随机推荐

  1. adb连接夜神模拟器

    1.打开夜神模拟器,打开设置,调成手机模式,初次进入的话,进入设置,点击版本号5次,可以激活使用开发者模式,进入后打开USB调试功能 2.打开文件资源管理器,进入夜神模拟器的安装位置,在地址栏输入cm ...

  2. Handler classes should be static or leaks might occur

    http://droidyue.com/blog/2014/12/28/in-android-handler-classes-should-be-static-or-leaks-might-occur ...

  3. ADODB

    转自网友,看着挺全就转了,供大家学习研究. Recordset 对象的属性1.CursorType 属性AdOpenForwardOnly: 仅向前游标,默认值.除了只能在记录中向前滚动外,与静态游标 ...

  4. 《从零开始学Swift》学习笔记（Day 30）——选择类还是结构体呢？

    原创文章,欢迎转载.转载请注明:关东升的博客 类和结构体非常相似,很多情况下没有区别.如果你是设计人员在进行系统设计时候,是将某种类型设计成为类还是结构体? 类和结构体异同: 类和结构体都有如下功能: ...

  5. 控制bin文件夹里面的dll不复制到临时目录中（ <hostingEnvironment shadowCopyBinAssemblies="false" />）

    One of the things that makes developing ASP.NET applications very cool is that you can rapidly proto ...

  6. ASIHttprequest 报错

    (void)requestReceivedResponseHeaders:(NSMutableDictionary *)newResponseHeaders { if ([self error] || ...

  7. 插叙LTE

  8. PHP多线程pthreads

    Home | 简体中文 | 繁体中文 | 杂文 | Search | ITEYE 博客 | OSChina 博客 | Facebook | Linkedin | 作品与服务 | EmailPHP 高级 ...

  9. sqlserver整理的实用资料

    1 --- 创建 备份数据的 device 2 3 USE DB_ZJ 4 EXEC sp_addumpdevice 'disk', 'testBack', 'c:\MyNwind_1.dat' 5 ...

  10. Python基础-常用的内置函数

    内置函数filter str = ['a', 'b', 'c', 'd'] def fansik(num): if num != "a": return num ret = fil ...