04_Apache Hadoop 生态系统
内容提纲:
1)对 Apache Hadoop 生态系统的认识(Hadoop 1.x 和 Hadoop 2.x)
2) Apache Hadoop 1.x 框架架构原理的初步认识
3) Apache Hadoop 1.x 安装的三种模式
Hadoop 1.x 生态系统
ETL: 提取à转换à加载:从数据库中获取数据,并进行一系列的数据清理和清洗筛选,将合格的数据进行转换成一定的格式数据进行存储,将格式化的数据存储到 HDFS 文件系统上,以供计算框架进行数据分析和挖掘。
格式化数据:
|- TSV 格式:每行数据的每列之间以【制表符 \t 】进行分割
|- CSV 格式:每行数据的每列之间以【逗号】进行分割
Sqoop:将关系型数据库中的数据与 HDFS(HDFS 文件,HBase 中表,Hive 中的表)上的数据进行相互导入导出。
Flume:收集各个应用系统和框架的日志,并将其放到 HDFS 分布式文件系统的相应制定的目录下。
Hadoop 2.x 生态系统
对于分布式系统和框架的架构来说,一般分为两部分:
第一部分:管理层,用于管理应用层的
第二部分:应用层(工作的)
HDFS,分布式文件系统,
NameNode :属于管理层,用于管理数据的存储
SecondaryNameNode:也属于管理层,辅助 NameNode 进行管理
DataNode :属于应用层,用户进行数据的储存,被 NameNode 进行管理,要定时的向 NameNode
进行工作汇报,执行 NameNode 分配分发的任务。
MapReduce ,分布式的并行计算矿建,
JobTracker:属于管理层,管理集群资源和对任务进行资源调度,监控人去的执行。
TaskTracker:属于应用层,执行 JobTracker 分配分发的任务,并向 JobTracker 汇报工作情况。
NameNode,存储文件的元数据,
1)文件名称
2)文件的目录结构
3)文件的属性(权限,副本数,生成的时间)
4)文件à(对应)Block块à(存储在)DataNodes 上
Apache Hadoop 安装部署模式
伪分布模式(Pseudo-Distributed Mode),
1)一台机器上运行所有的 Hadoop 服务(五个守护进程)。
2)我们整个课程,基本上都是使用伪分布式环境(尤其是讲解 MapReduce)
04_Apache Hadoop 生态系统的更多相关文章
- Hadoop概念学习系列之Hadoop 生态系统(十二)
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
- Hadoop生态系统如何选择搭建
Apache Hadoop项目的目前版本(2.0版)含有以下模块: Hadoop通用模块:支持其他Hadoop模块的通用工具集. Hadoop分布式文件系统(HDFS):支持对应用数据高吞吐量访问的分 ...
- Hadoop 生态系统
1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归 ...
- 从问题域出发认识Hadoop生态系统
近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展.尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效 ...
- hadoop生态系统的详细介绍
1.Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架.具有可靠.高效.可伸缩的特点. Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YAR ...
- hadoop 之Hadoop生态系统
1.Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架.具有可靠.高效.可伸缩的特点. Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YAR ...
- Hadoop概念学习系列之Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
- Apache Kudu: Hadoop生态系统的新成员实现对快速数据的快速分析
A new addition to the open source Apache Hadoop ecosystem, Apache Kudu completes Hadoop's storage la ...
- 阿里巴巴飞天大数据架构体系与Hadoop生态系统
很多人问阿里的飞天大数据平台.云梯2.MaxCompute.实时计算到底是什么,和自建Hadoop平台有什么区别. 先说Hadoop 什么是Hadoop? Hadoop是一个开源.高可靠.可扩展的分布 ...
随机推荐
- jQuery导入代码片段并绑定事件
a.html <div> <button class="button" >点我达</button> </div> b.html &l ...
- 程序的记事本--log4net
你是否在遇到程序执行问题时常常百度?你是否在遇到执行错误时常常去询问别人?假设有那么是时候改变啦,对于一个Developer来说那是不专业的表现,专业的Developer都会首先查看程序的执行日志.先 ...
- Crontab使用方式
Liunx系统的定时任务需要Crontab来完成 一.添加 添加定时脚本 crontab -e 或者直接编辑/etc/crontab文件进行任务添加 vim /etc/crontab 二.格式 三.举 ...
- 如何设置esxi的网卡与网络
很多朋友安装了vmware esxi后,不懂得服务器上的网卡该如何设置以及如何使用,我们在这里来介绍一下vmware esxi的网卡设置 工具/原料 一台服务器,配有两块千兆网卡 在服务器安装好v ...
- Web Services 平台元素
Web Services 拥有三种基本的元素:SOAP.WSDL 以及 UDDI. 什么是 SOAP? 基本的 Web services 平台是 XML + HTTP. SOAP 指简易对象访问协议 ...
- Python 爬虫实战3 计算大学本学期绩点
大家好,本次为大家带来的项目是计算大学本学期绩点.首先说明的是,博主来自山东大学,有属于个人的学生成绩管理系统,需要学号密码才可以登录,不过可能广大读者没有这个学号密码,不能实际进行操作,所以最主要的 ...
- python在linux中输出带颜色的文字的方法
在开发项目过程中,为了方便调试代码,经常会向stdout中输出一些日志,默认的这些日志就直接显示在了终端中.而一般的应用服务器,第三方库,甚至服务器的一些通告也会在终端中显示,这样就搅乱了我们想要的信 ...
- LR测试文件上传
开启fiddler 录制,回放,把上传文件放入脚本根目录中.
- libnids介
转自:http://blog.chinaunix.net/uid-22832715-id-2111578.html Libnids开发包介绍 Libnids是一个用于网络入侵检测开发的专业编程 ...
- 1052 最大M子段和(DP)
1052 最大M子段和 基准时间限制:2 秒 空间限制:131072 KB 分值: 80 难度:5级算法题 N个整数组成的序列a[1],a[2],a[3],…,a[n],将这N个数划分为互不相交的M个 ...