Hadoop源代码分析:HDFS读取和写入数据流控制(DataTransferThrottler类别)
DataTransferThrottler类别Datanode读取和写入数据时控制传输数据速率。这个类是线程安全的,它可以由多个线程共享。
用途是构建DataTransferThrottler对象,并设置期限period和带宽bandwidthPerSec,际读写前调用DataTransferThrottler.throttle()方法。假设I/O的速率相对给定的带宽太快,则该方法会将当前线程wait。
两个构造函数
- 双參构造函数,能够设置周期period和带宽bandwidthPerSec。
public DataTransferThrottler( long period,
long bandwidthPerSec)
- 单參构造函数,能够设置带宽bandwidthPerSec, 周期period默认被设置为500ms。
public DataTransferThrottler( long bandwidthPerSec)
重要属性
period | 周期,单位毫秒 |
periodExtension | 周期扩展时间。单位毫秒 |
bytesPerPeriod | 一个周期内能够发送/接收的byte总数 |
curPeriodStart | 当前周期開始时间,单位毫秒 |
curReserve | 当前周期内还能够发送/接收的byte数 |
bytesAlreadyUsed | 当前周期内已经使用的byte数 |
带宽bandWidthPerPerSec = bytesPerPeriod * period/1000
DataTransferThrottler.throttle()方法
该方法有两个入參:
- numOfBytes是自从上次throttle被调用到如今,须要发送/接收的byte数;
- canceler是一个外部取消器,能够用来检測是否取消流量控制。
DataTransferThrottler.throttle()方法会先将curReserve减去numOfBytes。接着运行例如以下逻辑。
- 假设curReserve大于0,则说明当前周期还有余量,throttle方法直接返回。
- 假设curReserve小于等于0,则说明当前周期已经没有余量,会运行以下逻辑。
>假设当前时间now小于当前周期结束时间curPeriodEnd,则wait到下一个周期
>假设当前时间now大于当前周期结束时间curPeriodEnd而且小于curPeriodStart+periodExtension。说明已经进入下一个周期而且throttle应该不是非常长时间没有使用,则将curReserve加上下一个周期能够传输的byte总数bytesPerPeriod,并将curPeriodStart设置到下一个周期的開始。
>假设当前时间now大于curPeriodStart+periodExtension。则可能Throttler非常长时间没有使用。则抛弃上一个周期。
DataTransferThrottler.throttle()方法源代码例如以下:
public synchronized void throttle(long numOfBytes , Canceler canceler) {
if ( numOfBytes <= 0 ) {
return;
}
//当前周期余量减去须要发送/接收的byte数numOfBytes
curReserve -= numOfBytes ;
bytesAlreadyUsed += numOfBytes; //假设curReserve小于等于0,则说明当前周期已经没有余量
while ( curReserve <= 0) {
//假设传入了有效取消器canceler,而且取消器的取消状态isCancelled是true,则直接退出while循环
if (canceler != null && canceler.isCancelled()) {
return;
}
long now = monotonicNow();
//计算当前周期结束时间。并存放在curPeriodEnd变量中
long curPeriodEnd = curPeriodStart + period ; if ( now < curPeriodEnd ) {
//等待下一个周期,这样curReserve就能够添加
try {
wait( curPeriodEnd - now );
} catch (InterruptedException e) {
//终止throttle, 而且重置interrupted状态来确保在调用栈中其他interrupt处理器能够正确运行
Thread. currentThread().interrupt();
break;
}
}
//假设当前时间now比当前结束时间curPeriodEnd晚,而且小于curPeriodStart+periodExtension(周期3倍时间),则进入下一个周期
//并添加bytesPerPeriod到curReserve
else if ( now < (curPeriodStart + periodExtension)) {
curPeriodStart = curPeriodEnd;
curReserve += bytesPerPeriod ;
}
//假设当前时间now大于curPeriodStart+periodExtension,则可能Throttler非常长时间没有使用。抛弃上一个周期
else {
curPeriodStart = now;
curReserve = bytesPerPeriod - bytesAlreadyUsed;
}
} bytesAlreadyUsed -= numOfBytes;
}
总结
DataTransferThrottler类能够控制传输数据在一段时期内的平均速率。但可能在一个周期结束时瞬时速率会失控。
參考资料
hadoop-release-2.5.0源代码
转载请附上原博客地址:http://blog.csdn.net/jeff_fangji/article/details/44258827
版权声明:本文博客原创文章,博客,未经同意,不得转载。
Hadoop源代码分析:HDFS读取和写入数据流控制(DataTransferThrottler类别)的更多相关文章
- Hadoop源代码分析
http://wenku.baidu.com/link?url=R-QoZXhc918qoO0BX6eXI9_uPU75whF62vFFUBIR-7c5XAYUVxDRX5Rs6QZR9hrBnUdM ...
- Hadoop源代码分析(完整版)
Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台.Google的大牛们用了下面5篇文章,介绍了它们的计算设施. GoogleCluster:http:// ...
- Hadoop集群-HDFS集群中大数据运维常用的命令总结
Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介.话 ...
- nodeks —— fs模块 —— 从流中 读取和写入数据
Fs流读取和写入数据 使用文件流来读取大文件不会卡顿 1, 从流中读取数据 var fs = require("fs"); var data = ''; var count = 0 ...
- 转载-python学习笔记之输入输出功能读取和写入数据
读取.写入和 Python 在 “探索 Python” 系列以前的文章中,学习了基本的 Python 数据类型和一些容器数据类型,例如tuple.string 和 list.其他文章讨论了 Pytho ...
- openVswitch(OVS)源代码分析之工作流程(数据包处理)
上篇分析到数据包的收发,这篇开始着手分析数据包的处理问题.在openVswitch中数据包的处理是其核心技术,该技术分为三部分来实现:第一.根据skb数据包提取相关信息封装成key值:第二.根据提取到 ...
- 用OpenPyXL处理Excel表格 - 向sheet读取、写入数据
假设一个名叫"模板"的excel表格里有四个sheet,名字分别是['平台', '制冷', '洗衣机', '空调'] 1.读取 from openpyxl import load_ ...
- Hadoop源代码分析【IO专题】
由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化.Hadoop并没有采用Java的序列化(因为Java序列化比较复杂,且不能深度控制),而是引入了它自己的系统. ...
- HDFS 读取、写入、遍历文件夹获取文件全路径、append
版权声明:本文为博主原创文章,未经博主同意不得转载.安金龙 的博客. https://blog.csdn.net/smile0198/article/details/37573081 1.从HDFS中 ...
随机推荐
- Mac OS X Kernel Basic User Credentials
User Credentials In order to understand security in OS X, it is important to understand that there a ...
- Android中图形截取的方式介绍
在Android的应用中,有时候我们想仅仅显示一部分图像,这时候就要求图形截图. 1.随意截取图像的方法,以下我们具体介绍一下android中的重要类--Bitmap public final cla ...
- Swift3.0为视图添加旋转动画_CABasicAnimation
Swift2.3: //创建旋转动画 let anim = CABasicAnimation(keyPath: "transform.rotation") //旋转角度 anim. ...
- css3-10 css3中的边框样式有哪几种
css3-10 css3中的边框样式有哪几种 一.总结 一句话总结:1.border-radius 2. box-shadow 3.border-image三种,box一种border两种 1.css ...
- C#操作SqlServer MySql Oracle通用帮助类
C#操作SqlServer MySql Oracle通用帮助类 [前言] 作为一款成熟的面向对象高级编程语言,C#在ADO.Net的支持上已然是做的很成熟,我们可以方便地调用ADO.Net操作各类关系 ...
- Android多线程研究(9)——线程锁Lock
在前面我们在解决线程同步问题的时候使用了synchronized关键字,今天我们来看看Java 5.0以后提供的线程锁Lock. Lock接口的实现类提供了比使用synchronized关键字更加灵活 ...
- java并发api总结
开发十年,就只剩下这套架构体系了! >>> 1.java.util.concurrent包 1.1 Executors Executor:接口,仅有一个方法为execute(Ru ...
- iOS开发Block的介绍以及Block的循环引用问题
1:block的循环引用问题最主要记住两点: 如果[block内部]使用[外部声明的强引用]访问[对象A], 那么[block内部]会自动产生一个[强引用]指向[对象A] 如果[block内部]使用[ ...
- js课程 1-2 js概念
js课程 1-2 js概念 一.总结 一句话总结:js标签元素也是js对象,有属性和方法,方法就是事件,属性就是标签属性,可以直接调用. 1.js中如何获取标签对象? getElement获取的是标 ...
- new File(String Path)加载资源问题
2017-12-17 15:07:38 [原创-wx] 一.我们在用IO流加载资源的时候,创建文件资源 1 File file = New File("String Path" ...