Slab作为一种内存管理方案,其作用主要有以下2点:

a) 避免频繁的内存分配释放造成的内存碎片

b) 减少内存分配操作产生的性能开销

Linux内核数据结构中也有slab的设计,Linux提供了一套接口,使用这套接口可以动态创建与释放一个slab结构,该slab的chunk大小通过接口指定, 创建成功后就可以从该slab中动态申请与释放chunk大小的内存用于存储目标数据,例如内核中用于表示进程的结构体task_struc就是使用的slab方式进行管理。memcached与linux内核不同,memcached中在程序启动时即初始化一个slabclass_t的全局数组,每一个slabclass_t结构的chunk大小不同,构成一个全局slab池。memcached中的slab相关操作源码主要集中在源文件slabs.c中,下面对它进行分析。

1.    结构体slabclass_t

以下是memcached中对slabclass_t的定义,

typedef struct {
unsigned int size; /* sizes of items */
unsigned int perslab; /* how many items per slab */ void *slots; /* list of item ptrs */
unsigned int sl_curr; /* total free items in list */ unsigned int slabs; /* how many slabs were allocated for this class */ void **slab_list; /* array of slab pointers */
unsigned int list_size; /* size of prev array */ size_t requested; /* The number of requested bytes */
} slabclass_t;

slabclass_t对内存的组织可以粗略的用图1-1表示,

图1-1 slabclass_t内存组织方式

slab_list是一个可以动态分配的数组,数组大小以list_size表示,数组中已存储元素数目以slabs表示,数组中每一个元素都表示一个page大小的可用内存(page也称为slab)。在为该slabclass_t新增加内存时,如果slabs等于list_size即表示数据空间已全部占用,需要使用realloc重新分配数组。

slabclass_t中的可用内存总是切割为size大小的chunks,一个page共可以切分为perslab个chunk。

slabclass_t中未被使用的chunk以单链表的方式进行组织,slots即是该单链表的链表头。当从该slabclass_t中申请内存时,返回slots指向的第一个chunk内存;当使用者释放从slabclass_t中申请的内存时,总是插入该chunk到链表头。sl_curr表示当前空闲的chunk数目,即单链表的元素数目。

为了构成单链表,每一个chunk中总是需要存在一个next指针,事实上,每一个chunk大小至少是一个item结构体的大小, memcached中以item表示一个存储对象,item的数据及item结构体实例总是被存储在同一个chunk中,数据紧接在结构体实例之后。而item中包含一个next指针,slabclass_t复用了该指针来组织空闲的chunk。

当为该slabclass_t新增加一个page的可用内存时,该page会被切分为一个一个的空闲chunk,并被插入到slots指向的单链表头。因此slabclass_t中的内存要么属于空闲chunk,由slots管理,要么属于被使用的item,被hashtable索引。

2.    特殊的slabclass[0]

memcached中以一个全局数组slabclass[MAX_NUMBER_OF_SLAB_CLASSES]存储所有的slabclass_t,每一个元素具有不同的chunk大小。但是这之中,slabclass[0]被设计成一个特殊的slabclass_t,item不会存储在slabclass[0]之中,相反,slabclass[0]用来为其它slabclass_t提供内存。

由于item不会存储在slabclass[0]之中,因此slabclass[0]中的slab_list中指向的page都是可用的,当其它slabclass_t需要增加一个page时,可以直接将slab_list中的最后一个page直接移到目的slabclass_t的slab_list的末尾。如果slabclass[0]不存在可用page时,再使用malloc或者其它方式分配内存。

3.    slabclass_t之间移动page

除了从特殊的slabclass[0]移出page以外,有时也需要在其它slabclass_t之间移动page,以根据需要平衡内存分布。Memcached根据一定的策略选择源与目的slabclass_t,将源slabclass_t的slab_list[0]移动到目的slabcalss_t的slab_list末尾。由于可能有item存储在源端的slab_list[0]指向的内存之中,因此在移动page之前需要做一定的处理。移动page的处理流程可以大致以图3-1表示。

图3-1 移动page的处理流程

4.    部分相关函数功能说明

void slabs_init(const size_t limit, const double factor, const bool prealloc, const uint32_t *slab_sizes) 

初始化全局slabclass[MAX_NUMBER_OF_SLAB_CLASSES],确定每一级slabclass_t的chunk 大小。limit代表slabs可以分配的内存上限;factor表示每一级slabclass_t的chunk大小的倍增因子;prealloc代表是否预分配一块内存;slab_sizes是一个整形数组,如果提供了该数组,各级slabclass_t的chunk大小由数组中的值决定。

static int grow_slab_list (const unsigned int id)

确保slabclass[id]中的slab_list数组有足够的空间容纳新增加page,如果空间不足则调用realloc重新分配空间。

static void split_slab_page_into_freelist(char *ptr, const unsigned int id) 

将新分配的page切割成chunk,并将chunk连接到slabclass[id]的slots链表头。

static int do_slabs_newslab(const unsigned int id) 

为slabclass[id]增加一个新的page,它会调用grow_slab_list确保slab_list空间,从slabclass[0]或者其它方式获得新的page,调用split_slab_page_into_freelist处理新的page。

static void *do_slabs_alloc(const size_t size, unsigned int id, uint64_t *total_bytes, unsigned int flags) 

从slabclass[id]中获取一个未使用的chunk,除了做一些必要的检查之外,获取的方式相当简单,直接从slots链表头获取一个chunk即可。另外返回的chunk会做一些初始化设置,如清除ITEM_SLABBED标志,表示该chunk已被使用,设置引用计数为1等。

static void do_slabs_free(void *ptr, const size_t size, unsigned int id)

释放ptr指向的item,新该chunk重新插入到slots链表头。初始化一些参数,如flag设置为ITEM_SLABBED表示该chunk未被使用。参数size为item实际使用的内存大小,用作一些信息统计,并非chunk的大小。另外有一种称为chunked的item(见其它解析),它的flag被设置为ITEM_CHUNKED,释放时需要调用do_slabs_free_chunked函数,以释放相关的chunk。

static int slab_rebalance_move(void)

做移动page时的处理操作,确保要移动的page中存储的item已被移动到其它的page中。

memcached中有一个称为slab_rebalance_thread的线程,该线程的作为即在各个slabclass_t中移动page,平衡内存分配。线程中使用一个条件信号量slab_rebalance_cond,当没有平衡任务时,线程一直等待该信号量,处于休眠状态。外界调用slabs_reassign函数启动平衡任务,该函数将发送条件信号量,激活线程。线程按照图3-1的流程,调用slab_rebalance_start设置内存检查pos等,然后调用slab_rebalance_move完成page清理工作,最后调用函数slab_rebalance_finish完成平衡任务,线程再次进入休眠,等待新的平衡任务。

memcached源码分析一-slab的更多相关文章

  1. Memcached源码分析之内存管理

    先再说明一下,我本次分析的memcached版本是1.4.20,有些旧的版本关于内存管理的机制和数据结构与1.4.20有一定的差异(本文中会提到). 一)模型分析在开始解剖memcached关于内存管 ...

  2. memcached源码分析-----item过期失效处理以及LRU爬虫

    memcached源码分析-----item过期失效处理以及LRU爬虫,memcached-----item 转载请注明出处:http://blog.csdn.net/luotuo44/article ...

  3. Memcached源码分析之请求处理(状态机)

    作者:Calix 一)上文 在上一篇线程模型的分析中,我们知道,worker线程和主线程都调用了同一个函数,conn_new进行事件监听,并返回conn结构体对象.最终有事件到达时,调用同一个函数ev ...

  4. Memcached源码分析之线程模型

    作者:Calix 一)模型分析 memcached到底是如何处理我们的网络连接的? memcached通过epoll(使用libevent,下面具体再讲)实现异步的服务器,但仍然使用多线程,主要有两种 ...

  5. Memcached源码分析之从SET命令开始说起

    作者:Calix 如果直接把memcached的源码从main函数开始说,恐怕会有点头大,所以这里以一句经典的“SET”命令简单地开个头,算是回忆一下memcached的作用,后面的结构篇中关于命令解 ...

  6. Memcached源码分析

    作者:Calix,转载请注明出处:http://calixwu.com 最近研究了一下memcached的源码,在这里系统总结了一下笔记和理解,写了几 篇源码分析和大家分享,整个系列分为“结构篇”和“ ...

  7. memcached源码分析-----slab内存分配器

    温馨提示:本文用到了一些可以在启动memcached设置的全局变量.关于这些全局变量的含义可以参考<memcached启动参数详解>.对于这些全局变量,处理方式就像<如何阅读memc ...

  8. Memcached源码分析——process_command函数解析

    以下为个人笔记 /** * process_command 在memcached中是用来处理用户发送的命令的, * 包括get set,add,delete,replace,stats,flush_a ...

  9. Memcached源码分析——内存管理

    注:这篇内容极其混乱 推荐学习这篇博客.博客的地址:http://kenby.iteye.com/blog/1423989 基本元素item item是Memcached中记录存储的基本单元,用户向m ...

随机推荐

  1. 10. Javascript 前后端数据加密

    为了加强项目的接口安全程度,需求如下 var options = { // 前端需要传送的数据加密 data: { abc: 123, bcd: 123, cds: '撒旦教付货款12313', }, ...

  2. C++运算符重载学习总结

    在C ++中,我们可以使运算符适用于用户定义的类. 这意味着C ++能够为运算符提供数据类型的特殊含义,这种能力称为运算符重载. 例如,我们可以在像String这样的类中重载运算符'+',这样我们就可 ...

  3. i春秋——“百度杯”CTF比赛 十月场——Vld(Vulcan Logic Dumper 、php opcode、sql 报错注入)

    打开题目看到提示 "do you know Vulcan Logic Dumper?" ,再查看源码看到"<!-- index.php.txt ?>" ...

  4. Docker容器进入的4种方式以及tomcat查看日志

    docker logs 查看实时日志 原文:http://www.cnblogs.com/qufanblog/p/6927411.html docker logs -f -t --since=&quo ...

  5. SQL Server 修改表结构(转载)

    SQL Server 修改表结构 本文链接:https://blog.csdn.net/petezh/article/details/81744374 查看指定表结构 exec sp_help Rep ...

  6. hadoop hdfs 有内网、公网ip后,本地调试访问不了集群解决

    问题背景: 使用云上的虚拟环境搭建测试集群,导入一些数据,在本地idea做些debug调试,但是发现本地idea连接不上测试环境 集群内部配置hosts映射是内网映射(内网ip与主机名映射),本地只能 ...

  7. AMQP与RabbitMQ

    转载请注明原文地址:https://www.cnblogs.com/ygj0930/p/10922433.html 一:AMQP是什么 AMQP(Advanced Message Queuing Pr ...

  8. Nginx 高级配置-变量使用

    Nginx 高级配置-变量使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  nginx的变量可以在配置文件中引用,作为功能判断或者日志等场景使用,变量可以分为内置变量和自定义变 ...

  9. 十、lambda表达式、内置函数之filter、map、reduce

    lambda表达式   学习条件运算时,对于简单的 if else 语句,可以使用三元运算来表示,即: # 普通条件语句 == : name = 'wupeiqi' else: name = 'ale ...

  10. nginx $remote_addr 详解

    1. 参考:https://blog.51cto.com/cuidehua/1827244?source=drt