hadoop入门(一)
 
一、概述
1.什么是hadoop
hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架。
hadoop框架最核心的设计是mapreduce和HDFS
1.2为什么要选择hadoop
1)扩容:能可靠的处理和存储PB级数据
2)成本:可以通过普通机器组成服务器群来分发和处理数据,这些服务器总计可大上千节点
3)高效:通过分发数据,hadoop可以并行处理这些数据,使它们特别快速
4)可靠:hadoop可以通过机器感知进行数据备份,并且任务失败后可以重新计算
12.2使用场景
主要用于海量数据分析
二、分布式文件系统HDFS
1.1Namedata:名称节点
1)维护HDFS文件系统,是HDFS的主节点
2)接收客户端的请求:上传文件、下载文件、创建文件等等
3)记录客户端操作的日志(edits文件),保存HDFS最新状态
-edits文件保存了自最后一次检查点之前针对HDFS的所有操作,如:增加文件,重命 名,删除文件
-保存目录:$HADOOP_HOME/tmp/dfs/name/current
-可以使用hdfs ove -i 命令将日志(二进制)输出为XML文件
4)维护文件元信息,将内存中不常用的元信息存储到硬盘上(fsimage文件)
-fsimage是HDFS文件系存于元数据的检查点,里面记录了自最后一次检查点之前HDFS中多有目录和文件的序列化信息
-保存目录:$HADOOP_HOME/tmp/dfs/name/current
-可以使用hdfs oiv -i 命令将日志(二进制)输出为文本
1.2DataNode:数据节点
1)以数据块为单位,保存数据
hadoop1.0的数据块单位为64M
hadoop2.0的数据块单位为128M
2)在全分布式模式下,至少两个DataNode节点
3)数据保存的目录:由hadoop.tmp.dir决定
1.2SecondayNameNode:第二人称节点
1.主要作用是日志合并
2.日志合并的过程
1.3HDFS存在的问题
1.NameNode单点故障,难以应用二在线场景
解决方案:hadoop1.0没有解决方法
hadoop2.0使用Zookeeper实现NameNod的HA功能
2.NameNode压力过大,且内存受限,影响系统扩展性
解决方案
hadoop1.0 中没有解决方案
hadoop2.0 使用NameNode的联盟实现其水平扩展
1.4YARN:分布式计算(MapReduce)
ResourceManager(资源管理器)
1.接收客户端的请求:执行任务
2.分配资源
3.分配任务
NodeManager(节点管理器:运行任务MapReduce)
1.从Data上获取数据,执行任务

hadoop(1)入门的更多相关文章

  1. Hadoop快速入门

    目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件 ...

  2. hadoop pig入门总结

    在这里贴一个pig源码的分析,做pig很长时间没做笔记,不包含任何细节,以后有机会再说吧 http://blackproof.iteye.com/blog/1769219 hadoop pig入门总结 ...

  3. Hadoop高速入门

    Hadoop高速入门 先决条件 支持平台 GNU/Linux是产品开发和执行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证. Win32平台是作为开发平台支 ...

  4. 详细的Hadoop的入门教程-完全分布模式Fully-Distributed Operation

    1. 前面在伪分布模式下已经创建了一台机器,为了统一命名,hostname更名为hadoop01.然后再克隆2台机器:hadoop02. hadoop03:将第一台机器hadoop01上的伪分布停止, ...

  5. 1.2 Hadoop快速入门

    1.2 Hadoop快速入门 1.Hadoop简介 Hadoop是一个开源的分布式计算平台. 提供功能:利用服务器集群,根据用户定义的业务逻辑,对海量数据的存储(HDFS)和分析计算(MapReduc ...

  6. Hadoop大数据学习视频教程 大数据hadoop运维之hadoop快速入门视频课程

    Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介 Hadoop是一个能够对大量数据进 ...

  7. hadoop MapReduce 入门

    原创播客,如需转载请注明出处.原文地址:http://www.cnblogs.com/crawl/p/7687120.html ------------------------------------ ...

  8. 大数据之Hadoop技术入门汇总

    今天,小编对Hadoop入门学习知识进行了汇总,帮助大家更好地入手大数据.小编关于Hadoop入门总共发写了12篇原创文章,文章是参照尚硅谷大数据视频教程来进行撰写的. 今天,小编带你解锁正确的阅读顺 ...

  9. Hadoop.之.入门部署

    一.课程目标 ->大数据是什么?大数据能做什么? ->什么是Hadoop?Hadoop的设计思想? ->Hadoop如何解决大数据的问题?(什么是hdfs与yarn.MapReduc ...

随机推荐

  1. P1118 [USACO06FEB]数字三角形Backward Digit Su…

    题目描述 FJ and his cows enjoy playing a mental game. They write down the numbers from 1 to N (1 <= N ...

  2. jmeter 连接 sqlite 进行压力测试

  3. ECharts 3.0 初学感想及学习中遇到的瓶颈

    因为刚工作的原因,压力特别大,加上时间也不是很充足,所以最近也没怎么整理学习的东西,今天趁着手头工作完成总结一下吧, 说实话,其实ECharts 就是图表绚丽,展示数据渲染效果更加强烈,从2.0到3. ...

  4. restful api的简单理解

    百度百科的描述:一种软件架构风格,设计风格而不是标准,只是提供了一组设计原则和约束条件.它主要用于客户端和服务器交互类的软件.基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制. RES ...

  5. 解决国内无法安装android sdk的问题

    在使用 Android SDK Manager 的时候,主要会连接到两个地址 dl.google.com 和 dl-ssl.google.com,key发现这两个地址都是无法正常访问的,如何解决呢? ...

  6. 飞思卡尔开发板-迅为IMX6开兼容单核 双核 四核Plus开发板

    飞思卡尔开发硬件接口介绍: 核心板参数 尺寸:51mm*61mm CPU:Freescale Cortex-A9 四核 i.MX6Q,主频 1.2 GHz 内存:2GB DDR3 存储:16GB EM ...

  7. CAD参数绘制椭圆弧(网页版)

    在CAD设计时,需要绘制椭圆弧,用户可以设置椭圆弧基本属性. 主要用到函数说明: _DMxDrawX::DrawEllipseArc 绘制椭圆弧.详细说明如下: 参数 说明 DOUBLE dCente ...

  8. CSS 实现毛玻璃效果

    Part.1 HTML结构 <!-- 最外层盒子 --> <div class="box"> <!-- 添加毛玻璃效果盒子 --> <di ...

  9. sql server update+select(子查询修改)20190304

    if OBJECT_ID('tempdb..##t2') is not null drop table ##t2;create table ##t2( a int, b int, c datetime ...

  10. jQuery动态移除和绑定事件

    function bindEvent() { //移除绑定事件 $('.btnsp').unbind('click'); //绑定事件 $('.btnsp').bind('click', functi ...