一:背景

1. 讲故事
最近在分析一个 dump 的过程中发现其在 gen2 和 LOH 上有不少size较大的free,仔细看了下,这些free生前大多都是模板引擎生成的html片段的byte[]数组,当然这篇我不是来分析dump的,而是来聊一下,当托管堆有很多length较大的 byte[] 数组时,如何让内存利用更高效,如何让gc老先生压力更小。

不知道大家有没有发现在 .netcore 中增加了不少池化对象的东西,比如: ArrayPool,ObjectPool 等等,确实在某些场景下还是特别实用的,所以有必要对其进行较深入的理解。

二: ArrayPool 源码分析

1. 一图胜千言
在我花了将近一个小时的源码阅读之后,我画了一张 ArrayPool 的池化图,所谓:一图在手,天下我有 。

有了这张图,接下来再聊几个概念并配上相应源码,我觉得应该就差不多了。

2. 池化的架构分级是什么样的?
ArrayPool 是由若干个 Bucket 组成, 而 Bucket 又由若干个 buffer[] 数组组成, 有了这个概念之后,再配一下代码。

public abstract class ArrayPool<T>
{
public static ArrayPool<T> Create()
{
return new ConfigurableArrayPool<T>();
}
} internal sealed class ConfigurableArrayPool<T> : ArrayPool<T>
{
private sealed class Bucket
{
internal readonly int _bufferLength;
private readonly T[][] _buffers;
private int _index;
} private readonly Bucket[] _buckets; //bucket数组 }

3. 为什么每一个 bucket 里都有 50 个 buffer[]
这个问题很好回答,初始化时做了 maxArraysPerBucket=50 设定,当然你也可以自定义,具体参考如下代码:

internal sealed class ConfigurableArrayPool<T> : ArrayPool<T>
{
internal ConfigurableArrayPool() : this(1048576, 50)
{
} internal ConfigurableArrayPool(int maxArrayLength, int maxArraysPerBucket)
{
int num = Utilities.SelectBucketIndex(maxArrayLength);
Bucket[] array = new Bucket[num + 1];
for (int i = 0; i < array.Length; i++)
{
array[i] = new Bucket(Utilities.GetMaxSizeForBucket(i), maxArraysPerBucket, id);
}
_buckets = array;
}
}

4. bucket 中 buffer[].length 为什么依次是 16,32,64 …
框架做了默认假定,第一个bucket中的 buffer[].length=16, 后续 bucket 中的 buffer[].length 都是 x2 累计,涉及到代码就是 GetMaxSizeForBucket() 方法,参考如下:

internal ConfigurableArrayPool(int maxArrayLength, int maxArraysPerBucket)
{
Bucket[] array = new Bucket[num + 1];
for (int i = 0; i < array.Length; i++)
{
array[i] = new Bucket(Utilities.GetMaxSizeForBucket(i), maxArraysPerBucket, id);
}
} internal static int GetMaxSizeForBucket(int binIndex)
{
return 16 << binIndex;
}

5. 初始化时 bucket 到底有多少个?
其实在上图中我也没有给出 bucket 到底有多少个,那到底是多少个呢? ,当我阅读完源码之后,这算法还挺有意思的。

先说一下结果吧,默认 17 个 bucket,你肯定会好奇怎么算的? 先说下两个变量:

maxArrayLength=1048576 = 2的20次方
buffer.length= 16 = 2的4次方
最后的算法就是取次方的差值:bucket[].length= 20 - 4 + 1 = 17,换句话说最后一个 bucket 下的 buffer[].length=1048576,详细代码请参考 SelectBucketIndex() 方法。

internal sealed class ConfigurableArrayPool<T> : ArrayPool<T>
{
internal ConfigurableArrayPool(): this(1048576, 50)
{ } internal ConfigurableArrayPool(int maxArrayLength, int maxArraysPerBucket)
{
int num = Utilities.SelectBucketIndex(maxArrayLength);
Bucket[] array = new Bucket[num + 1];
for (int i = 0; i < array.Length; i++)
{
array[i] = new Bucket(Utilities.GetMaxSizeForBucket(i), maxArraysPerBucket, id);
}
_buckets = array;
} internal static int SelectBucketIndex(int bufferSize)
{
return BitOperations.Log2((uint)(bufferSize - 1) | 0xFu) - 3;
}
}

到这里我相信你对 ArrayPool 的池化架构思路已经搞明白了,接下来看下如何申请和归还 buffer[]。

三:如何申请和归还

既然 buffer[] 做了颗粒化,那就应该好借好还,反应到代码上就是 Rent() 和 Return() 方法,为了方便理解,上代码说话:

class Program
{
static void Main(string[] args)
{
var arrayPool = ArrayPool<int>.Create(); var bytes = arrayPool.Rent(10); for (int i = 0; i < bytes.Length; i++) bytes[i] = 10; arrayPool.Return(bytes); Console.ReadLine();
}
}



有了代码和图之后,再稍微捋一下流程。

从 ArrayPool 中借一个 byte[10] 大小的数组,为了节省内存,先不备货,临时生成一个 byte[].size=16 的数组出来,简化后的代码如下,参考 if (flag) 处:

internal T[] Rent()
{
T[][] buffers = _buffers;
T[] array = null;
bool lockTaken = false;
bool flag = false;
try
{
if (_index < buffers.Length)
{
array = buffers[_index];
buffers[_index++] = null;
flag = array == null;
}
}
if (flag)
{
array = new T[_bufferLength];
}
return array;
}

这里有一个坑,那就是你以为借了 byte[10],现实给你的是 byte[16],这里稍微注意一下。

当用 ArrayPool.Return 归还 byte[16] 时, 很明显看到它落到了第一个bucket的第一个buffer[]上,参考如下简化后的代码:

internal void Return(T[] array)
{
if (_index != 0)
{
_buffers[--_index] = array;
}
}

这里也有一个值得注意的坑,那就是还回去的 byte[16] 里面的数据默认是不会清掉的,从上面的代码也是可以看出来的,要想做清理,需要在 Return 方法中指定 clearArray=true,参考如下代码:

public override void Return(T[] array, bool clearArray = false)
{
int num = Utilities.SelectBucketIndex(array.Length); if (num < _buckets.Length)
{
if (clearArray)
{
Array.Clear(array, 0, array.Length);
}
_buckets[num].Return(array);
}
}

四:总结

学习这其中的 池化架构 思想,对平时项目开发还是能提供一些灵感的,其次对那些一次性使用 byte[] 的场景,用池化是个非常不错的方法,这也是我对朋友dump分析后提出的一个优化思路。
以上代码托管在:编程宝库

C# ArrayPool 源码解读之 byte[] 池化的更多相关文章

  1. ArrayPool 源码解读之 byte[] 也能池化?

    一:背景 1. 讲故事 最近在分析一个 dump 的过程中发现其在 gen2 和 LOH 上有不少size较大的free,仔细看了下,这些free生前大多都是模板引擎生成的html片段的byte[]数 ...

  2. jvm源码解读--04 常量池 常量项的解析CONSTANT_Class_info

    接上篇的继续 ConstantPool* constant_pool = ConstantPool::allocate(_loader_data, length, CHECK_(nullHandle) ...

  3. jvm源码解读--05 常量池 常量项的解析JVM_CONSTANT_Utf8

    当index=18的时候JVM_CONSTANT_Utf8 case JVM_CONSTANT_Utf8 : { cfs->guarantee_more(2, CHECK); // utf8_l ...

  4. jvm源码解读--03 常量池的解析ConstantPool

    先看bt栈 (gdb) bt #0 ConstantPool::allocate (loader_data=0x7fe21802e868, length=87, __the_thread__=0x7f ...

  5. MYSQL 源码解读系列 [线程池。。] ----dennis的博客

    http://blog.sina.com.cn/s/articlelist_1182000643_0_1.html

  6. HttpClient 4.3连接池参数配置及源码解读

    目前所在公司使用HttpClient 4.3.3版本发送Rest请求,调用接口.最近出现了调用查询接口服务慢的生产问题,在排查整个调用链可能存在的问题时(从客户端发起Http请求->ESB-&g ...

  7. HttpClient4.3 连接池参数配置及源码解读

    目前所在公司使用HttpClient 4.3.3版本发送Rest请求,调用接口.最近出现了调用查询接口服务慢的生产问题,在排查整个调用链可能存在的问题时(从客户端发起Http请求->ESB-&g ...

  8. 从源码解读线程(Thread)和线程池(ThreadPoolExecutor)的状态

    线程是比进程更加轻量级的调度执行单位,理解线程是理解并发编程的不可或缺的一部分:而生产过程中不可能永远使用裸线程,需要线程池技术,线程池是管理和调度线程的资源池.因为前不久遇到了一个关于线程状态的问题 ...

  9. Jfinal-Plugin源码解读

    PS:cnxieyang@163.com/xieyang@e6yun.com 本文就Jfinal-plugin的源码进行分析和解读 Plugin继承及实现关系类图如下,常用的是Iplugin的三个集成 ...

随机推荐

  1. Leetcode:面试题55 - II. 平衡二叉树

    Leetcode:面试题55 - II. 平衡二叉树 Leetcode:面试题55 - II. 平衡二叉树 Talk is cheap . Show me the code . /** * Defin ...

  2. Linux用户提权管理方案

    提权管理方案背景: 如果一个公司有10余个运维或网络安全人员,同时管理服务器,切换到管理员用户时(su - root),必须要有root管理员密码,如果其中一人修改过root密码,其他用户则登录不了, ...

  3. python解析excel

    import xlrd, base64excel_obj = xlrd.open_workbook(file_contents=base64.decodestring(filename)).#打开要解 ...

  4. 第四篇 -- CSS基础

    表单.单选.下拉框.文本域.多选框.提交.重置.按钮 <!DOCTYPE html> <html lang="en"> <head> <m ...

  5. windows上传本地项目Github远程仓库(另附设置git网页链接)

    一:关于Windows平台安装git以及github的注册不在详细描述,可以参考如下经验: 安装教程:https://jingyan.baidu.com/article/925f8cb8a8e91cc ...

  6. .NET同步原语Barrier简介

    Barrier(屏障)是一种自定义的同步原语(synchronization primitive),它解决了多个线程(参与者)在多个阶段之间的并发和协调问题. 1)多个参与者执行相同的几个阶段的操作 ...

  7. videojs文档翻译Guides-Plugins

    Video.js Plugins Video.js的一大优势在于其插件生态系统,允许来自世界各地的作者分享他们的视频播放器定制.这包括从最简单的UI调整到新的播放技术和资源处理程序的一切! 因为我们将 ...

  8. Pdb— Python的调试器

    参考:Pdb- Python的调试器 pdb 模块定义了一个交互式源代码调试器,用于 Python 程序.它支持在源码行间设置(有条件的)断点和单步执行,检视堆栈帧,列出源码列表,以及在任何堆栈帧的上 ...

  9. Java方法03——方法的重载

    方法的重载(println 就是一个典型的重载(源码)) 重载就是在一个类中,有相同的函数名称,但形参不同的函数 方法重载的规则 方法名称必须相同 参数列表必须不同(个数不同.或者类型不同.参数排列顺 ...

  10. 用Matlab求解微分方程

    用Matlab求解微分方程 解微分方程有两种解,一种是解析解,一种是数值解,这两种分别对应不同的解法 解析解 利用dsolve函数进行求解 syms x; s = dsolve('eq1,eq2,.. ...