Map任务的不均匀性

最近发现Map端数据越来越不均匀，而处理输入的数据，写到本地磁盘的数据量都差不多，我们随便拿出来两个attempt任务（当前map数量为64个），33和45，33的counter：

下面是000045的Counter数据

可以看出Counter中的数据也是差不多，但是CPU时间以及GC时间相差比较大（实际上以ms为单位，也就相差不太大），CPU时间相差5分钟左右，我们对map端执行的每段数据进行标记：

[INFO]  2014-10-19 19:17:19 : current caid(2000716) report generated!

[INFO]  2014-10-19 19:17:47 : current caid(2000717) report generated!

[INFO]  2014-10-19 19:18:35 : current caid(2000687) report generated!

[INFO]  2014-10-19 19:19:02 : current caid(2000713) report generated!

[INFO]  2014-10-19 19:19:33 : current caid(2000706) report generated!

[INFO]  2014-10-19 19:20:01 : current caid(2000707) report generated!

[INFO]  2014-10-19 19:20:29 : current caid(2000704) report generated!

[INFO]  2014-10-19 19:21:30 : current caid(2000697) report generated!

[INFO]  2014-10-19 19:22:01 : current caid(2000699) report generated!

[INFO]  2014-10-19 19:22:42 : current caid(2000701) report generated!

[INFO]  2014-10-19 19:23:23 : current caid(2000700) report generated!

[INFO]  2014-10-19 19:23:53 : current caid(2000702) report generated!

[INFO]  2014-10-19 19:24:21 : current caid(2000689) report generated!

[INFO]  2014-10-19 19:25:00 : current caid(2000688) report generated!

[INFO]  2014-10-19 19:25:41 : current caid(2000690) report generated!

[INFO]  2014-10-19 19:26:22 : current caid(2000693) report generated!

[INFO]  2014-10-19 19:27:29 : current caid(2000692) report generated!

这个执行得非常快，而相反45就比较慢了：

[INFO]  2014-10-19 19:41:17 : current caid(2000716) report generated!

[INFO]  2014-10-19 19:43:32 : current caid(2000717) report generated!

[INFO]  2014-10-19 19:45:59 : current caid(2000687) report generated!

[INFO]  2014-10-19 19:50:57 : current caid(2000713) report generated!

[INFO]  2014-10-19 19:55:20 : current caid(2000706) report generated!

[INFO]  2014-10-19 20:04:22 : current caid(2000707) report generated!

[INFO]  2014-10-19 20:07:23 : current caid(2000704) report generated!

[INFO]  2014-10-19 20:10:33 : current caid(2000697) report generated!

[INFO]  2014-10-19 20:14:14 : current caid(2000699) report generated!

[INFO]  2014-10-19 20:17:28 : current caid(2000701) report generated!

[INFO]  2014-10-19 20:21:11 : current caid(2000700) report generated!

[INFO]  2014-10-19 20:26:34 : current caid(2000702) report generated!

[INFO]  2014-10-19 20:32:27 : current caid(2000689) report generated!

[INFO]  2014-10-19 20:35:46 : current caid(2000688) report generated!

[INFO]  2014-10-19 20:37:53 : current caid(2000690) report generated!

[INFO]  2014-10-19 20:39:42 : current caid(2000693) report generated!

[INFO]  2014-10-19 20:41:25 : current caid(2000692) report generated!

可以看出，明显比33慢出一个数量级，而且是每个步骤都比较慢，不存在单独数据的故障。首先，任务开始时间有差别，这是因为在最慢的任务启动之前，最快的任务都已经完成了，这是因为资源分配不均匀造成的，也是因为我们初始的时候任务启动过多，以至于Map总是一个个启动；但还有一点就是000045处理每个活动的速度其实都是比较慢的，甚至系统还为此启动了一个推测式任务：

[INFO]  2014-10-19 19:45:58 : current caid(2000716) report generated!

[INFO]  2014-10-19 19:47:58 : current caid(2000717) report generated!

[INFO]  2014-10-19 19:50:28 : current caid(2000687) report generated!

[INFO]  2014-10-19 19:52:29 : current caid(2000713) report generated!

[INFO]  2014-10-19 19:59:15 : current caid(2000706) report generated!

[INFO]  2014-10-19 20:02:12 : current caid(2000707) report generated!

[INFO]  2014-10-19 20:04:38 : current caid(2000704) report generated!

[INFO]  2014-10-19 20:08:47 : current caid(2000697) report generated!

[INFO]  2014-10-19 20:16:01 : current caid(2000699) report generated!

这个推测式任务由于主任务的执行完成而被kill，但从任务的进度来看，好像要比原来的任务进度稍微快一点。

本地化balancer策略

我们对数据块都进行了本地化策略，能够确保大部分数据在Map端执行时都使用本地的数据进行，下面我们就查看对应的服务器上是否有该块信息。

首先，在执行任务时，某个Split块信息打印出来，比如00058块，通过查看hadoop命令手册：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#fsck。

hadoop fsck  /xxxx/xxx_part-r-00058 -files -locations -blocks

Connecting to namenode via http://x1202.xxxx.cn:50070

FSCK started by tong (auth:SIMPLE) from /192.168.7.11 for path //xxxx/xxx_part-r-00058 at Mon Oct 20 14:16:40 CST 2014

/xxxx/xxx_part-r-00058 864740440 bytes, 7 block(s):  OK

0. BP-714842383-192.168.7.11-1393991369860:blk_1088800687_1099546661897 len=134217728 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.21:50010]

1. BP-714842383-192.168.7.11-1393991369860:blk_1088801074_1099546662284 len=134217728 repl=3 [192.168.7.14:50010, 192.168.7.75:50010, 192.168.7.34:50010]

2. BP-714842383-192.168.7.11-1393991369860:blk_1088801189_1099546662399 len=134217728 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.24:50010]

3. BP-714842383-192.168.7.11-1393991369860:blk_1088801280_1099546662490 len=134217728 repl=3 [192.168.7.14:50010, 192.168.7.75:50010, 192.168.7.20:50010]

4. BP-714842383-192.168.7.11-1393991369860:blk_1088801390_1099546662600 len=134217728 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.26:50010]

5. BP-714842383-192.168.7.11-1393991369860:blk_1088801661_1099546662871 len=134217728 repl=3 [192.168.7.14:50010, 192.168.7.75:50010, 192.168.7.16:50010]

6. BP-714842383-192.168.7.11-1393991369860:blk_1088801774_1099546662992 len=59434072 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.13:50010]

Status: HEALTHY

 Total size:864740440 B

 Total dirs:0

 Total files:1

 Total symlinks:0

 Total blocks (validated):7 (avg. block size 123534348 B)

 Minimally replicated blocks:7 (100.0 %)

 Over-replicated blocks:0 (0.0 %)

 Under-replicated blocks:0 (0.0 %)

 Mis-replicated blocks:0 (0.0 %)

 Default replication factor:3

 Average block replication:3.0

 Corrupt blocks:0

 Missing replicas:0 (0.0 %)

 Number of data-nodes:31

 Number of racks:1

FSCK ended at Mon Oct 20 14:16:40 CST 2014 in 1 milliseconds

块本身的数据并没有任何问题，而且从块的数据分布可以看出，当前集群中HDFS块的大小设置为128M，策略大概设置为3到4个块来进行保存该block的数据。

根据某个HDFS数据块的分布情况，我们使用ping机器主机名称的方式查到具体的ip地址

下面就简要说明一下我们如何分片的，每日的日志都会根据一定的字段分成固定的数量（64个），Map端处理的InputSplit扩展自CombineInputSplit，即多个不同日期日志文件的集合，每个集合对应的不同日期相同下标的日志文件。

InputSplit会根据getLocations方法来确定最优分配的机器名称，于是元数据文件就是下标对应机器名的一个文件。后台会启动一个自己写的balancer程序，会在集群不工作的情况下偷偷地移动数据，以满足元数据文件的本地化策略。

虽然我们已经设置了本地化策略，但是根据运行的结果，Map最慢的任务却并不是在那台推荐的机器上运行的，具体原因已经分析出来了，原因就在于某些资源的不足，确切来说当前是Map端的内存，造成我们虽然同时启动了多个任务，但是病不是所有的任务都已经正常运行，看下面的趋势图：

蓝色条表示执行开始时间，绿色表示执行结束时间。可以看出虽然任务初始时会启动9个任务，但是只有前4个拿到了充分的资源，后面的Map任务都处于Pending状态，等待资源，此时集群已经占满。

我们知道Map占用的资源随着Map任务的执行结束会马上被释放掉，此时后面的Map任务就可以拿到资源并运行，但此时，已经没有其他的选择，也就是说，不一定会选择推荐的本地化机器！这也是为什么前面启动的4个任务执行要比后面启动的任务快很多的原因。

要解决这个问题，可以将并行度减小，也可以提高当前稀缺的资源：内存。当然，一切结论还等实验后才能完成。

项目中Map端数据处理不均匀性分析的更多相关文章

  1. 项目中Map端内存占用的分析

      最近在项目中开展重构活动,对Map端内存尽量要省一些,当前的系统中Map端内存最高占用大概3G左右(设置成2G时会导致Java Heap OOM).虽然个人觉得占用不算多,但是显然这样的结果想要试 ...

  2. create-react-app 搭建的项目中，引入 webpack-bundle-analyzer 打包分析

    安装npm intall webpack-bundle-analyzer --save-dev 在 config/webpack.config.prod.js 文件(推荐)或 config/webpa ...

  3. MapReduce在Map端的Combiner和在Reduce端的Partitioner

    1.Map端的Combiner. 通过单词计数WordCountApp.java的例子,如何在Map端设置Combiner... 只附录部分代码: /** * 以文本 * hello you * he ...

  4. 教你如何在React及Redux项目中进行服务端渲染

    服务端渲染(SSR: Server Side Rendering)在React项目中有着广泛的应用场景 基于React虚拟DOM的特性,在浏览器端和服务端我们可以实现同构(可以使用同一份代码来实现多端 ...

  5. 关联分析FPGrowth算法在JavaWeb项目中的应用

    关联分析(关联挖掘)是指在交易数据.关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式.关联.相关性或因果结构.关联分析的一个典型例子是购物篮分析.通过发现顾客放入购物篮中不同商品之 ...

  6. 初识quartz 并分析 项目中spring整合quartz的配置【原创+转载】

    初识quartz 并分析 项目中spring整合quartz的配置[原创+转载]2018年01月29日 12:08:07 守望dfdfdf 阅读数:114 标签: quartz 更多个人分类: 工具 ...

  7. mqtt协议实现 java服务端推送功能（三）项目中给多个用户推送功能

    接着上一篇说,上一篇的TOPIC是写死的,然而在实际项目中要给不同用户 也就是不同的topic进行推送 所以要写活 package com.fh.controller.information.push ...

  8. 【DDD/CQRS/微服务架构案例】在Ubuntu 14.04.4 LTS中运行WeText项目的服务端

    在<WeText项目:一个基于.NET实现的DDD.CQRS与微服务架构的演示案例>文章中,我介绍了自己用Visual Studio 2015(C# 6.0 with .NET Frame ...

  9. 动端逐渐出了许多的移动端的框架，比如Sencha Touch、JQTouch、Jquery-moblie、jqMobi等等。这些框架都有优缺点，不同的框架应用在不同的项目中。现简单阐述一下各框架的优缺点：

    移动前端工作的那些事---前端制作之微信小技巧篇   (2013-11-15 15:20) 转载▼ 标签: it css3/javascript html5 webapp 手机网站搭建 分类: 前端制 ...

随机推荐

  1. selected多次点击不生效

    表单下拉选项使用selected设置选中时,发现第一次默认选中成功,在页面不刷新的情况下操作(比如ajax),虽然selected属性设置了,但是默认选中不生效. 解决办法1 可能是浏览器缓存问题,在 ...

  2. 解如何利用 XML 和 JavaScript Object Notation 在 Ajax 客户端和 Java 服务器之间传输数据(代码)(Oracle)。

    ---------------------------------ajaxUtil----------------------------------------------------------- ...

  3. 图像和流媒体 -- Sapera 安装遇到的问题

    一.下载安装包 参看:Genie Nano M1930-NIR 点击软件及例程下载 二.安装遇到的问题 (1)Installation directory must be on a local har ...

  4. Linux运维-Rsync+Inotify

      Rsync+Inotify Rsync:linux系统下的数据镜像备份工具.使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH.rsync主机同步. 特性: 可 ...

  5. PPP of DDD

    我是真够懒的了

  6. pkcs#5和pkcs#7填充的区别

    最近做到了关于加密和解密的部分. 使用算法AES的时候,涉及到数据填充的部分,数据的填充有很多种方案,用的比较多的有pkcs#5,pkcs#7, 下面的都是从网上转来的.结论就是在AES 的使用中,p ...

  7. idea和pycharm激活方法

    idea和pycharm是jetbrains出品的很火的开发辅助工具,不过目前来说是收费的,对于囊中羞涩的同学来说还是比较困难的 我写这篇博客只是为了方便新手使用,推进开发进程,但希望大家在合适的情况 ...

  8. 让ASP.NET第一次请求不变慢

    网页开发者早期最常遇到一个问题,当网站布署到IIS时候,每当IIS或是Application Pool重启后,第一位进入网站的使用者,其体验往往第一个反应就是网站很慢,然后就一直询问IT为什么网站这么 ...

  9. HDU1556 线扫

    昨天睡得太晚,今天又在看新算法,明天事情也多,烦,所以今天刷刷水题就过去了. 叫我用线段树,我反而搞不来 #include<cstdio> #include<cstdlib> ...

  10. 每天一个linux命令（文件操作）：【转载】find 命令的参数详解

    find一些常用参数的一些常用实例和一些具体用法及注意事项. 1．使用name选项: 文件名选项是find命令最常用的选项,要么单独使用该选项,要么和其他选项一起使用.可以使用某种文件名模式来匹配文件 ...