Hadoop是分布式文件系统

并行处理系统：高效存储和高效处理组件

Mapreduce，函数式编程机制，分Map阶段和reduce阶段，他不但是一个编程方式，同时也是个运行框架，它分两个阶段

Map阶段：抽取各个键值对生成键值对结果集（一般存在本地），这些键值对存储下来并进行排序

reduce阶段：将Map的结果合并成处理结果的机制

所有Map完成才能启动reduce处理

MapReduce是一个批处理作业系统（运行一段无法预估的时间）而不是实时系统。

GFS（The Google File System）谷歌文件系统是一种分布式文件系统，即将数据分布存储在多个数据节点上

一个重要思想是：Google的FileSystem和MapReduce结合起来以后，使得程序往数据上跑而不是数据往程序上跑。

Hadoop：为DFS文件系统或HDFS文件系统

HDFS+Mapreduce=Hadoop

Hadoop是如何工作的？

它把两个集群合到一块了（Hadoop集群和Mapreduce集群）

对于Hadoop Map节点启动几个程序员无法控制，由MapReduce自行决定的，但是reduce启动几个程序员可以控制（如果程序员不指定JobTracker自行决定）

JobTracker是MapReduce的控制节点，它能够决定在哪个节点上启动Map任务，并且能决定一共启动多少个Map任务

数据怎么切割，由Map决定

Hadloop的更多相关文章

  1. NoSQL数据库笔谈（转）

    NoSQL数据库笔谈 databases , appdir , node , paper颜开 , v0.2 , 2010.2 序 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 ...

  2. 了解的CAP和BASE等理论

    CAP,BASE和最终一致性是NoSQL数据库存在的三大基石.而五分钟法则是内存数据存储的理论依据.这个是一切的源头. 几个名词解释: 网络分区:俗称“脑裂”.当网络发生异常情况,导致分布式系统中部分 ...

  3. NoSQL数据库笔谈

    NoSQL数据库笔谈 databases , appdir , node , paper颜开 , v0.2 , 2010.2 序 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 ...

  4. 搭建hadoop2.4.1

    前期准备: 1.系统基本形况: ip hostname role server loginName 192.168.1.101 h1 NameNode,ResourceManager centos7_ ...

随机推荐

  1. Django框架 之 跨域请求伪造

    Django框架 之 跨域请求伪造 浏览目录 同源策略与Jsonp 同源策略 Jsonp jQuery对JSONP的实现 CORS 简介 两种请求 同源策略与Jsonp 同源策略 同源策略(Same ...

  2. Django框架 之 Auth用户认证

    Django框架 之 Auth用户认证 浏览目录 auth模块 user对象 一.auth模块 1 from django.contrib import auth django.contrib.aut ...

  3. CLR VIA C# 泛型的协变和逆变

    using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...

  4. App性能测试工具使用说明-MobilePerformance

    一. 环境搭建 安装Android SDK 1.6或者1.7版本均可,建议1.7,环境变量的配置,Java SDK的安装很简单,不赘述了. 安装SDK 1.安装Android SDK: 2.安装完毕后 ...

  5. win7,64bit下的OpenGL着色语言（glsl）开发环境配置（原）

    一.环境准备: 系统环境win7,64位,双显卡:集成显卡+gt540m,gt540建议下载最新的驱动,可以支持到opengl4.3标准,一般双显的笔记本,程序默认启用的是集显,我机器的集显驱动有点老 ...

  6. .NET Core 1.0正式发布

    Major .NET Core components: Base Class Libraries CoreCLR runtime and RyuJIT compiler Roslyn compiler ...

  7. 前端mock利器：randomjson

    randomjson的应用场景 前后端分离时,前端根据后端提供的数据模型模拟后端请求.如果数据写死,每次返回的都一样,这个时候randomjson就能派上用场了.在前端规定数据类型,每次用random ...

  8. easyUI Methods

    doc对象转jQuery 对象 $(doc Object); jQuery Object.控件名('方法'[,参数]); options 为该控件的属性 方式一: var opts = $('.eas ...

  9. HttpClient connectionTimeout

    转自:http://www.cnblogs.com/carlosk/archive/2013/03/12/2956502.html 前几天服务器端的产品经理跑来问我是否有做请求超时和响应超时的处理.我 ...

  10. layui之弹出层--从父窗口传递数据到子窗口

    原文链接:https://blog.csdn.net/Code_shadow/article/details/80524633 var Index = layer.open({ title: &quo ...