关于hadoop
hadoop 是什么?
1. 适合海量数据的分布式存储与计算平台。
海量: 是指 1T 以上数据。
分布式: 任务分配到多态虚拟机上进行计算。
2. 多个任务是怎么被分配到多个虚拟机当中的?
分配是需要网络通讯的。而且是需要启动资源 或者 消耗一些硬件上的配置。
单 JVM 关注的如何『处理』,而不是交给其他人进行处理这个 『管理』的过程。 所以最开始有两个关键的字 『适合』,
只有当数据量超过 1T 的大数据处理才能凸显 hadoop 的优势; 当然,用 hadoop 处理 几十G、几百G 这种小数据也是可以的,只是体现不了 hadoop的优势罢了,从硬件的角度,从效率的角度都是不太值得的。
3.Hadoop Ecosystem Map Hadoop生态系统图
博客讲解: http://www.cnblogs.com/zlslch/p/5080439.html
像其他框架一样,hadoop 也是分层的, 序号③ ⑤ 就是 hadoop 中重要的组成, HDFS 负责数据存储。MapReduce 是海量数据的分布式计算框架。
Structured Data(hiho, sqoop) 是 hadoop 中对传统数据和 hadoop中数据相互转化的工具。传统数据库中的数据可以导入到 hadoop中。hadoop中的数据也可以导入到传统的关系型数据库中。
HBASE 是 hadoop中用的最多和最重要的子项目之一。当然它也是构建于 MapReduce 和 HDFS 之上的。不过 HBASE 可以不基于 HDFS ,只是如果不基于 HDFS时就无法使用 MapReduce 计算框架了。是处理大数据读写操作的,尤其适合一些大型在线系统。
大数据有两层含义:第一层含义,大数据有自己的构造形态,key-value方式。 另外一层含义,就是大家理解的海量数据。 之所以能成为 大数据 是因为 他是 key-value的构建方式。
HDFS
HDFS: Hadoop Distributed File System 分布式文件系统
文件系统 是一套接口,一套平台。是用于管理文件的存储与操作的。
HDFS文件系统,是用于管理分布式文件的存储与操作的。HDFS 就为我们提供了一套机制,让海量数据能够分布在不同的计算机上。他提供 言外知音就是 我们不用关心数据是怎么存储的, HDFS 负责存储这件事情。这是我们使用 hadoop 的一个重要的原因,他帮我们屏蔽掉一些分布式操作的一些细节。
MapReduce
MapReduce : 并行计算框架
分布式系统中有很多台机器,每一台机器存储数据的一部分,我们使用 hadoop 之所以能够很快的计算得出结果,原因很简单 我们计算的代码会在不同的机器上运行, 每一台机器完成计算的一部分,因为每台机器上存储的只是我数据的一部分。多台机器并行计算。然后把计算结果收集过来得出最终的结果。这是Hadoop 之所以块的根源。所以 MapReduce 是我们要研究非常重要的核心, HDFS 的操作是hadoop 框架屏蔽掉的,所以我们主要是去学习怎么去使用它。作为开发而言,聚焦到核心的核心,肯定是 MapReduce。 因为 MapReduce 是计算框架。也就是说数据已经存储了,我怎么计算它,这在任何一个框架中都是一个比较核心的问题。当然也是最有技术含量的问题。所以 如果学习hadoop 的话,有必要详细研究 MapReduce 的架构、使用、源代码等等所有的核心环节。
关于hadoop的更多相关文章
- Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
- 初识Hadoop、Hive
2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版 ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- 程序员必须要知道的Hadoop的一些事实
程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1: ...
- Hadoop 2.x 生态系统及技术架构图
一.负责收集数据的工具:Sqoop(关系型数据导入Hadoop)Flume(日志数据导入Hadoop,支持数据源广泛)Kafka(支持数据源有限,但吞吐大) 二.负责存储数据的工具:HBaseMong ...
- Hadoop的安装与设置(1)
在Ubuntu下安装与设置Hadoop的主要过程. 1. 创建Hadoop用户 创建一个用户,用户名为hadoop,在home下创建该用户的主目录,就不详细介绍了. 2. 安装Java环境 下载Lin ...
- 基于Ubuntu Hadoop的群集搭建Hive
Hive是Hadoop生态中的一个重要组成部分,主要用于数据仓库.前面的文章中我们已经搭建好了Hadoop的群集,下面我们在这个群集上再搭建Hive的群集. 1.安装MySQL 1.1安装MySQL ...
随机推荐
- LVS+Keepalived搭建MyCAT高可用负载均衡集群
LVS+Keepalived 介绍 LVS LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国 ...
- jdk8中java.util.concurrent包分析
并发框架分类 1. Executor相关类 Interfaces. Executor is a simple standardized interface for defining custom th ...
- C# 原样复制excel工作表
在excel中,工作表是工作薄的组成部分,一个工作薄可以由一个或多个工作表组成,一个工作薄也可以说是一个excel文档,正因为如此,excel工作表的复制也就分为两种类型:在同一文档之内复制和在不同文 ...
- android 如何正确使用 泛型 和 多参数 “偷懒”
我要实现这样一个标题栏 共 4 个选项,采用布局是一个 TextView 对应一个小三角 ImageView,各个选项没被点击时,字体颜色是 黑色,小三角不显示,点击后,字体变色,小三角居下显示,同时 ...
- (转载)基于LBS地图的开发,满足地图上有头像的需求
最近做的项目主要是LBS这块 主打成员定位功能 我们的UI设计是这样的 乍一看上去是挺好挺美观的 不同的人会显示不同的头像 可是当人扎堆的时候 问题就来了 当人多的时候(例如上图所示) 地图滑动起来就 ...
- 整数压缩编码 ZigZag
在分析Avro源码时,发现Avro为了对int.long类型数据压缩,采用Protocol Buffers的ZigZag编码(Thrift也采用了ZigZag来压缩整数). 1. 补码编码 为了便于后 ...
- JS的解析与执行过程
JS的解析与执行过程 全局中的解析和执行过程 预处理:创建一个词法环境(LexicalEnvironment,在后面简写为LE),扫描JS中的用声明的方式声明的函数,用var定义的变量并将它们加到预处 ...
- iOS学习笔记——键盘处理
在网上找到的资料比较零散,这部分学起来感觉也有点空虚,内容就只包括隐藏键盘和键盘高度两部分 隐藏键盘其实就在我学习iOS开发的第一个程序里面已经实践过了,不过当时还懵懵懂懂,现在就了解了是什么一回事, ...
- DataTable转实体Model,DataRow转实体Model,DataTable转泛型T,DataRow转泛型T
前言,此方法利用反射将DataRow转成实体,由于反射性能不行,大家就看看就行了吧. 代码来啦 using System; using System.Collections.Generic; usin ...
- jquery制作论坛或社交网站的每天打卡签到特效
效果:http://hovertree.com/texiao/jquery/50/ 现在许多社区,购物等网站都设置签到功能,打开可以收获经验.虚拟币等,提高用户粘性,增加浏览量,是一个不错的功能.本文 ...