Hadoop权威指南学习笔记一
Hadoop简单介绍
声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出。一起学习一起进步。
转载请注明:http://blog.csdn.net/my_acm
1、
数据的增长远远超过了磁盘的读取速度。传统的数据存储方式和分析方式变得不再适用于大数据的处理。
Hadoop分为两大核心技术。HDFS(HadoopDistributed File System-分布式hadoop文件处理系统)和MapReduce(分为Map-数据映射等,Reduce-数据合并等)。
基于HDFS的分布式文件系统。数据能够分布在一个非常广的不同的范围内(当然也能够是集中式的数据)进行并行处理分析。而处理分析的能力则用MapReduce算法进行分析。也由于这样的分布式的系统。是的其能在不是非常高性能的机器上执行。所以成本并不高。
2、
为什么传统的RDBMS不能适应大数据处理呢?
首先来看看以下的一张表格:
更重要的是MapRuduce和关系型数据库之间它们处理的数据集的结构化数据的数量。
所谓结构化数据就是拥有准确定义的实体化数据,符合某种提前定义模式。
而通常的半结构化数据和非结构化数据则不能在RDBMS上非常好的处理,相反MapRduce的却能非常好的处理这些非结构化数据。
当然随着时间的推移RDBMS(借鉴MapReduce的思想)和MapReduce之间的差别可能会越来越模糊。
基于MapReduce的两个重要高级查询语言Pig和Hive。
3、
Hadoop是DougCutting——Apache Lueene创始人——开发的使用广泛的文本搜索库。尽管Hadoop最出名的事MapReduce和HDFS可是它还有其它一些配套服务。
Hadoop权威指南学习笔记一的更多相关文章
- Hadoop权威指南学习笔记二
MapReduce简单介绍 声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.n ...
- Hadoop权威指南学习笔记三
HDFS简单介绍 声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考.有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my ...
- 转载:Hadoop权威指南学习笔记
转自:http://pieux.github.io/blog/2013-05-08-learn-hadoop-the-definitive-guide.html 1 前言 Hadoop的内部工作机制: ...
- Hadoop权威指南 - 学习笔记
初识Hadoop.关于MapReduce Hadoop宏观介绍 相对于其他系统的优势 关系型数据库管理系统 为什么不能用配有大量硬盘的数据库进行大规模分析?为什么需要Hadoop? 因为计算机硬盘的发 ...
- HTTP权威指南-学习笔记
目录 HTTP权威指南-学习笔记 HTTP: Web的基础 URL与资源 HTTP报文 连接管理 HTTP结构 Web服务器 代理 缓存 集成点: 网关,隧道及中继 Web机器人 识别,认证与安全 客 ...
- JavaScript 权威指南-学习笔记(一)
本文所有教程及源码.软件仅为技术研究.不涉及计算机信息系统功能的删除.修改.增加.干扰,更不会影响计算机信息系统的正常运行.不得将代码用于非法用途,如侵立删! ## JavaScript 权威指南-学 ...
- CSS权威指南学习笔记系列(1)CSS和文档
题外话:HTML是一种结构化语言,而CSS是它的补充:这是一种样式语言.CSS是前端三板斧之一,因此学习CSS很重要.而我还是菜鸟,所以需要加强学习CSS.这个是我学习CSS权威指南的笔记,如有不对, ...
- hadoop权威指南学习(一) - 天气预报MapReduce程序的开发和部署
看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引, 殊不知,Tom White大牛虽然在书中写了程序和讲解了原理,但是他以为你们都会 ...
- IDA Pro权威指南学习笔记(一)
一直不懂逆向,最近刚好不忙,于是学习逆向,用来做笔记,顺便和大家分享交流. 参考书籍<IAD PRO权威指南> 工具: PETools: ETools 是另一款很好的PE文件编辑工具,以前 ...
随机推荐
- Eclipse开发Android的配置(包括ADT安装,SDK配置)
1. 下载Android SDK http://code.google.com/android/download.html下载后直接解压就可以使用了. 为了在DOS控制台中直接使用SDK的工具,可 ...
- Android 之 AndroidManifest.xml 详解(一)
当Android启动一个应用程序组件之前,它必须知道哪些个组件是存在的,所以开发人员在开发过程中,必须将应用程序中出现的组件一一在AndroidManifest.xml文件中" 声明 &qu ...
- JavaScript 复制内容到剪贴板
<html> <head> <title>Selector</title> <script language="javascript&q ...
- java 动态生成类再编译最后代理
package spring.vhostall.com.proxy; public interface Store { public void sell(); } ------------------ ...
- MyEclipse下的Debug调试技巧汇总
首先以debug模式启动tomcat,并文件中设断点,然后运行,当程序走到断点处就会转到debug视图下 [1]快捷键(F8)直接执行程序. [2]快捷键(F5)单步执行程序,遇到方法时进入. [3] ...
- WIFI: N, Legacy and AC
N选项 N spec allows for 20MHz wide channels similar to previous specs but can also combine two 20MHz c ...
- HDOJ 5242 Game
Game Time Limit: 3000/1500 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submi ...
- 安装到LG手机出错
[2013-07-10 07:44:31 - txrjsms] ERROR: Application requires API version 11. Device API version is 8 ...
- jquery中的replaceWith()和html()的区别
区别在于,html()会替换指定元素内部的HTML,而replaceWith()会替换元素本身及其内部的HTML. //目标div <div id="myid" /> ...
- 原创:【微信小程序】发送消息模板教程(后台以PHP示例)
1.本教程对外开放,未经博主同意,禁止转载. 2.准备材料:1)公众号|小程序,添加选择的模板消息,2)在设置>开发设置页面,开通消息模板功能:如: 3.因为调用微信发送模板的接口是:https ...