===================== MapReduce内部机制：本地性 =====================

什么是数据本地性（data locality）-------------------------->

如果任务运行在它将处理的数据所在的节点，则称该任务 具有“数据本地性”

本地性可避免跨节点或机架数据传输，提高运行效率

数据本地性分类 -------------------------->

同节点(node-local)

同机架(rack-local)

其他（off-switch）

===================== MapReduce内部机制：推测执行 =====================

作业完成时间取决于最慢的任务完成时间 ---------------------->

一个作业由若干个Map任务和Reduce任务构成

因硬件老化、软件Bug等，某些任务可能运行非常慢

推测执行机制  ---------------------->

发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度

为拖后腿任务启动一个备份任务，同时运行

谁先运行完，则采用谁的结果

不能启用推测执行机制  ---------------------->

任务间存在严重的负载倾斜

特殊任务，比如任务向数据库中写数据

MapReduce04的更多相关文章

  1. MapReduce04 框架原理Shuffle

    目录 2 MapReduce工作流程 3 Shuffle机制(重点) 3.1 Shuffle机制 3.2 Partition分区 默认Partitioner分区 自定义Partitioner分区 自定 ...

随机推荐

  1. Flask框架 之重定向、cookie和session

    一.URL重定向(redirect) @app.route("/login") def login(): # 使用url_for函数通过视图函数的名字找到url路径 url = u ...

  2. RabbitMQ系列(三)--Java API

    基于java使用RabbitMQ 框架:SpringBoot1.5.14.RELEASE maven依赖: <dependency> <groupId>com.rabbitmq ...

  3. .net core 中简单封装Dapper.Extensions 并使用sqlsuger自动生成实体类

    引言 由公司需要使用dapper  同时支持多数据库 又需要支持实体类 又需要支持sql 还需要支持事务 所以采用了 dapper + dapperExtensions  并配套 生成实体类小工具的方 ...

  4. Group共享网元

    熟悉TWaver的用户都知道Group的概念,如果是Group,那必然会出现一个网元在多组的情况,最近有客户遇到这个问题,给写了Demo,这些也跟大家分享一下如何实现,先让我们看看共享网元的效果. 熟 ...

  5. Humidex POJ - 3299 （数学）

    题目大意 给定你三个变量中的两个输出剩下的那一个 题解 没有什么,就是把公式推出来即可,完全的数学题 代码 #include <iostream> #include <cmath&g ...

  6. fread快读+fwrite快速输出

    定义数组 char buf[1<<23],*p1=buf,*p2=buf,obuf[1<<23],*O=obuf; 读入 #define getchar() (p1==p2&a ...

  7. 作业 3-5 switch语句的应用

    /*输入五级制成绩(A-E),输出相应的百分制成绩(0-100)区间*/ #include<stdio.h> int main(void) { char ch;/*定义一个字符*/ pri ...

  8. 【tips】自动化测试工具 - selenium和phantomJS

    ### 目录清单 selenium和phantomjs概述 selenium常用API 案例操作:模拟登陆csdn 1. selenium和phantomJS是什么东西 selenium是一套web网 ...

  9. list tuple dict （列表，元祖，字典间的相互转换）

    #-*- coding:UTF-8 -*- #author:RXS002 #1.字典 dict = {'name':'Zara','age':7,'class':'First'} #字典转换为字符串, ...

  10. Springboot源码分析

    参考资料 https://www.cnblogs.com/lizongshen/p/9127999.html