Linux内存技术分析（上）

Linux内存技术分析（上）

一．Linux存储器

限于存储介质的存取速率和成本，现代计算机的存储结构呈现为金字塔型。越往塔顶，存取效率越高、但成本也越高，所以容量也就越小。得益于程序访问的局部性原理，这种节省成本的做法也能取得不俗的运行效率。从存储器的层次结构以及计算机对数据的处理方式来看，上层一般作为下层的Cache层来使用（广义上的Cache）。

比如寄存器缓存CPU Cache的数据，CPU Cache L1~L3层视具体实现彼此缓存或直接缓存内存的数据，而内存往往缓存来自本地磁盘的数据。

Linux 文件系统体系结构是一个对复杂系统进行抽象化的有趣例子。通过使用一组通用的 API 函数，Linux 可以在许多种存储设备上支持许多种文件系统。例如，read 函数调用可以从指定的文件描述符读取一定数量的字节。

read 函数不了解文件系统的类型，比如 ext3 或 NFS。它也不了解文件系统所在的存储媒体，比如 AT Attachment Packet Interface(ATAPI)磁盘、Serial-Attached SCSI(SAS)磁盘或 Serial Advanced Technology Attachment（SATA）磁盘。

但是，当通过调用 read 函数读取一个文件时，数据会正常返回。本文讲解这个机制的实现方法并介绍 Linux 文件系统层的主要结构。

如下图，当程序调用各类文件操作函数后，用户数据（User Data）到达磁盘（Disk）的流程如图所示。图中描述了Linux下文件操作函数的层级关系和内存缓存层的存在位置。中间的黑色实线是用户态和内核态的分界线。

Linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍Linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，Linux 内核几种内存管理的方法，内存使用场景以及内存使用的那些坑。

从内存的原理和结构，到内存的算法优化，再到使用场景，去探寻内存管理的机制和奥秘。

二、走进Linux 内存

1、内存是什么？

1)内存又称主存，是 CPU 能直接寻址的存储空间，由半导体器件制成

2)内存的特点是存取速率快

2、内存的作用

·       1)暂时存放 cpu 的运算数据

·       2)硬盘等外部存储器交换的数据

·       3)保障 cpu 计算的稳定性和高性能

三、 Linux 内存地址空间

1、Linux 内存地址空间 Linux 内存管理全貌

2、内存地址——用户态&内核态

·       用户态：Ring3 运行于用户态的代码则要受到处理器的诸多

·       内核态：Ring0 在处理器的存储保护中，核心态

·       用户态切换到内核态的 3 种方式：系统调用、异常、外设中断

·       区别：每个进程都有完全属于自己的，独立的，不被干扰的内存空间；用户态的程序就不能随意操作内核地址空间，具有一定的安全保护作用；内核态线程共享内核地址空间；

3、内存地址——MMU 地址转换

·       MMU 是一种硬件电路，它包含两个部件，一个是分段部件，一个是分页部件

·       分段机制把一个逻辑地址转换为线性地址

·       分页机制把一个线性地址转换为物理地址

4、内存地址——分段机制

1) 段选择符

·       为了方便快速检索段选择符，处理器提供了 6 个分段寄存器来缓存段选择符，它们是：cs,ss,ds,es,fs 和 gs

·       段的基地址(Base Address)：在线性地址空间中段的起始地址

·       段的界限(Limit)：在虚拟地址空间中，段内可以使用的最大偏移量

2) 分段实现

·       逻辑地址的段寄存器中的值提供段描述符，然后从段描述符中得到段基址和段界限，然后加上逻辑地址的偏移量，就得到了线性地址

5、内存地址——分页机制（32 位）

·       分页机制是在分段机制之后进行的，它进一步将线性地址转换为物理地址

·       10 位页目录，10 位页表项， 12 位页偏移地址

·       单页的大小为 4KB

6、用户态地址空间

·       TEXT：代码段可执行代码、字符串字面值、只读变量

·       DATA：数据段，映射程序中已经初始化的全局变量

·       BSS 段：存放程序中未初始化的全局变量

·       HEAP：运行时的堆，在程序运行中使用 malloc 申请的内存区域

·       MMAP：共享库及匿名文件的映射区域

·       STACK：用户进程栈

7、内核态地址空间

·       直接映射区：线性空间中从 3G 开始最大 896M 的区间，为直接内存映射区

·       动态内存映射区：该区域由内核函数 vmalloc 来分配

·       永久内存映射区：该区域可访问高端内存

·       固定映射区：该区域和 4G 的顶端只有 4k 的隔离带，其每个地址项都服务于特定的用途，如：ACPI_BASE 等

8、进程内存空间

·       用户进程通常情况只能访问用户空间的虚拟地址，不能访问内核空间虚拟地址

·       内核空间是由内核负责映射，不会跟着进程变化；内核空间地址有自己对应的页表，用户进程各自有不同额页表

四、 Linux 内存分配算法

内存管理算法：对讨厌自己管理内存的人来说是天赐的礼物。

1、内存碎片

1)    基本原理

·       产生原因：内存分配较小，并且分配的这些小的内存生存周期又较长，反复申请后将产生内存碎片的出现

·       优点：提高分配速度，便于内存管理，防止内存泄露

·       缺点：大量的内存碎片会使系统缓慢，内存使用率低，浪费大

2) 如何避免内存碎片

·       少用动态内存分配的函数(尽量使用栈空间)

·       分配内存和释放的内存尽量在同一个函数中

·       尽量一次性申请较大的内存，而不要反复申请小内存

·       尽可能申请大块的 2 的指数幂大小的内存空间

·       外部碎片避免——伙伴系统算法

·       内部碎片避免——slab 算法

·       自己进行内存管理工作，设计内存池

2、伙伴系统算法——组织结构

1)    概念

·       为内核提供了一种用于分配一组连续的页而建立的一种高效的分配策略，并有效的解决了外碎片问题

·       分配的内存区是以页框为基本单位的

2)    外部碎片

·       外部碎片指的是还没有被分配出去（不属于任何进程），但由于太小了无法分配给申请内存空间的新进程的内存空闲区域3)    组织结构

·       把所有的空闲页分组为 11 个块链表，每个块链表分别包含大小为 1，2，4，8，16，32，64，128，256，512 和 1024 个连续页框的页块。最大可以申请 1024 个连续页，对应 4MB 大小的连续内存。

3、伙伴系统算法——申请和回收

1)    申请算法

·       申请 2^i 个页块存储空间，如果 2^i 对应的块链表有空闲页块，则分配给应用

·       如果没有空闲页块，则查找 2^(i 1) 对应的块链表是否有空闲页块，如果有，则分配 2^i 块链表节点给应用，另外 2^i 块链表节点插入到 2^i 对应的块链表中

·       如果 2^(i 1) 块链表中没有空闲页块，则重复步骤 2，直到找到有空闲页块的块链表

·       如果仍然没有，则返回内存分配失败

2)    回收算法

·       释放 2^i 个页块存储空间，查找 2^i 个页块对应的块链表，是否有与其物理地址是连续的页块，如果没有，则无需合并

·       如果有，则合并成 2^（i 1）的页块，以此类推，继续查找下一级块链接，直到不能合并为止

3)    条件

·       两个块具有相同的大小

·       它们的物理地址是连续的

·       页块大小相同

4、如何分配 4M 以上内存？

1)    为何限制大块内存分配

·       分配的内存越大, 失败的可能性越大

·       大块内存使用场景少

2)    内核中获取 4M 以上大内存的方法

·       修改 MAX_ORDER, 重新编译内核

·       内核启动选型传递"mem="参数, 如"mem=80M，预留部分内存；然后通过

·       request_mem_region 和 ioremap_nocache 将预留的内存映射到模块中。需要修改内核启动参数, 无需重新编译内核. 但这种方法不支持 x86 架构, 只支持 ARM, PowerPC 等非 x86 架构

·       在 start_kernel 中 mem_init 函数之前调用 alloc_boot_mem 函数预分配大块内存, 需要重新编译内核

·       vmalloc 函数，内核代码使用它来分配在虚拟内存中连续但在物理内存中不一定连续的内存

5、伙伴系统——反碎片机制

1)    不可移动页

·       这些页在内存中有固定的位置，不能够移动，也不可回收

·       内核代码段，数据段，内核 kmalloc() 出来的内存，内核线程占用的内存等

2)    可回收页

·       这些页不能移动，但可以删除。内核在回收页占据了太多的内存时或者内存短缺时进行页面回收3)    可移动页

·       这些页可以任意移动，用户空间应用程序使用的页都属于该类别。它们是通过页表映射的

·       当它们移动到新的位置，页表项也会相应的更新

6、slab 算法——基本原理

1)    基本概念

·       Linux 所使用的 slab 分配器的基础是 Jeff Bonwick 为 SunOS 操作系统首次引入的一种算法

·       它的基本思想是将内核中经常使用的对象放到高速缓存中，并且由系统保持为初始的可利用状态。比如进程描述符，内核中会频繁对此数据进行申请和释放

2)    内部碎片

·       已经被分配出去的的内存空间大于请求所需的内存空间3)    基本目标

·       减少伙伴算法在分配小块连续内存时所产生的内部碎片

·       将频繁使用的对象缓存起来，减少分配、初始化和释放对象的时间开销

·       通过着色技术调整对象以更好的使用硬件高速缓存

7、slab 分配器的结构

·       由于对象是从 slab 中分配和释放的，因此单个 slab 可以在 slab 列表之间进行移动

·       slabs_empty 列表中的 slab 是进行回收（reaping）的主要备选对象

·       slab 还支持通用对象的初始化，从而避免了为同一目而对一个对象重复进行初始化

8、slab 高速缓存

1)    普通高速缓存

·       slab 分配器所提供的小块连续内存的分配是通过通用高速缓存实现的

·       通用高速缓存所提供的对象具有几何分布的大小，范围为 32 到 131072 字节。

·       内核中提供了 kmalloc() 和 kfree() 两个接口分别进行内存的申请和释放

2)    专用高速缓存

·       内核为专用高速缓存的申请和释放提供了一套完整的接口，根据所传入的参数为具体的对象分配 slab 缓存

·       kmem_cache_create() 用于对一个指定的对象创建高速缓存。它从 cache_cache 普通高速缓存中为新的专有缓存分配一个高速缓存描述符，并把这个描述符插入到高速缓存描述符形成的 cache_chain 链表中

·       kmem_cache_alloc() 在其参数所指定的高速缓存中分配一个 slab。相反， kmem_cache_free() 在其参数所指定的高速缓存中释放一个 slab

9、内核态内存池

1)    基本原理

·       先申请分配一定数量的、大小相等(一般情况下) 的内存块留作备用

·       当有新的内存需求时，就从内存池中分出一部分内存块，若内存块不够再继续申请新的内存

·       这样做的一个显著优点是尽量避免了内存碎片，使得内存分配效率得到提升

2)    内核 API

·       mempool_create 创建内存池对象

·       mempool_alloc 分配函数获得该对象

·       mempool_free 释放一个对象

·       mempool_destroy 销毁内存池

10、用户态内存池

1)    C++ 实例

11、DMA 内存

1)    什么是 DMA

·       直接内存访问是一种硬件机制，它允许外围设备和主内存之间直接传输它们的 I/O 数据，而不需要系统处理器的参与2)    DMA 控制器的功能

·       能向 CPU 发出系统保持（HOLD）信号，提出总线接管请求

·       当 CPU 发出允许接管信号后，负责对总线的控制，进入 DMA 方式

·       能对存储器寻址及能修改地址指针，实现对内存的读写操作

·       能决定本次 DMA 传送的字节数，判断 DMA 传送是否结束

·       发出 DMA 结束信号，使 CPU 恢复正常工作状态

2)    DMA 信号

·       DREQ：DMA 请求信号。是外设向 DMA 控制器提出要求，DMA 操作的申请信号

·       DACK：DMA 响应信号。是 DMA 控制器向提出 DMA 请求的外设表示已收到请求和正进行处理的信号

·       HRQ：DMA 控制器向 CPU 发出的信号，要求接管总线的请求信号。

·       HLDA：CPU 向 DMA 控制器发出的信号，允许接管总线的应答信号：