data structure alignment(数据对齐)
概述:
数据对齐指数据在计算机内存中排放和获取的方式。包含三个方面:数据对齐(data alignment)、数据结构填充(data alignment)、打包(packing)
如果数据是自然对齐的话,CPU读写会更高效。自然对齐指数据地址是数据大小的倍数。为保证自然对齐,可能会在结构的开头或结尾进行一些填充
定义:
内存地址对齐:一个内存地址a被称为n-byte对齐,如果a是n的倍数,其中n是2的幂。因此n对齐的地址的低log2(n)位是0
n-bit对齐 = n/8-byte对齐
内存读取对齐:读取n bytes的数据,且数据地址是n-byte对齐的
内存指针对齐:一个指向基本数据类型的指针是n-byte对齐的,如果指针指向的地址只能是n-byte对齐的;一个指向数组或结构体的指针是n-byte对齐的,如果每个基本数据元素都是n-byte对齐的
以上定义假设基本数据类型的大小都是2的幂,否则是否对齐要依情况而定
问题:
内存读取以字为单位,如果字的大小大于最大的基本数据类型,那么对齐内存的读取总是读取单一的字
如果是非对齐内存的读取,即数据的高地址和低地址不在同一个字中,那么对这个数据的读取就要分多次进行,多次读取并把它们整合起来需要更加复杂的电路。而且如果数据在不同的页上,处理器还要在执行指令之前确认这些页是否都在当前内存中,否则还要在执行指令的时候执行TLB缺失或页错误
单一字的读取是原子的,其他的设备将等待当前设备读取该字之后才可以获取它。但是如果是非对齐的数据,在当前设备读取一个字之后,其他的设备可能会改变这个数据,然后当前设备再读取剩下的字,导致脏读问题
数据结构填充:
一个数据结构中的数据成员可能会有不同的对齐要求,所以为保证成员有合适的对齐规则,解释器会填充未命名的数据成员,此外还可能会为数据结构作为一个整体的对齐规则填充未命名成员。这样就能保证无论是所有的数据成员还是作为一个整体都有合适的对齐规则。
在一个成员后面的成员需要更大的对齐方式或者是结构结束的时候才会需要填充,所以改变成员的顺序可以减少填充需要的空间。但是成员按递减的对齐方式排列并不一定保证最小的填充需求。
C和C++不允许编译器重新排列结构的成员,某些语言可能允许。但是C和C++编译器允许指定编译器的对齐等级。如"pack(2)"意味着2-byte对齐,所以填充的成员至多一个字节
一般填充用于节省空间,但也可以用于为一个传输协议格式化数据结构
分配内存时对齐cache线:
对齐cache线的分配内存将会使效率更高。如果数组分为多个线程处理,但是子数组没有对齐cache线,那么会使性能降低。
对齐分配举例:
#include <stdlib.h>
double *foo(void) {
double *var;//create array of size 10
int ok;
ok = posix_memalign((void**)&var, 64, 10*sizeof(double));
if(ok != 0)
return NULL;
return var;
}
//来自 <https://en.wikipedia.org/wiki/Data_structure_alignment>
硬件的对齐需求:
对齐还可以用于提升硬件水平地址转换的效率(虚拟地址转化为物理地址)
举例:假设有32位操作系统采取4KB大小的页。那么一个页并不是任意的一块区域,而是4KB对齐的内存区域。这会简化硬件把虚拟地址转化为物理地址的代价,硬件上直接把高位地址替换掉,而不必进行更多的计算。
比如TLB把虚拟地址0x2cfc7000映射为物理地址0x12345000,这两个地址都是4KB对齐的,所以当硬件想要把0x2cfc7abc的虚拟地址转化为物理地址的时候只需要把高20位替换为0x12345
一个大小为的数据块总有
大小的一块是可以进行
对齐的。所以可以这样申请一块对齐的内存:
// Example: get a 12-bit aligned 4 KBytes buffer with malloc()
// unaligned pointer to large area
void *up = malloc((1 << 13) - 1);
// well-aligned pointer to 4 KBytes
void *ap = aligntonext(up, 12);
//来自 <https://en.wikipedia.org/wiki/Data_structure_alignment>
C运行时栈的对齐实验:
运行环境:gcc version 6.3.0 (MinGW.org GCC-6.3.0-1) on Windows10
在命令行编译运行
代码:
#include <stdio.h>
int func(void){
int c;
printf("stack top in func \t%p\n", &c);
return 1;
}
void main(void) {
int arr[0];
int i;
printf("stack top before func \t%p\n", &i);
func();
return;
}
结果:
stack top before func 0061FF2C
stack top in func 0061FEFC
调用函数的花费栈空间位48字节。然后改变arr的大小为1:
stack top before func 0061FF28
stack top in func 0061FEFC
然后调用函数花费的栈空间就是44字节。当arr的大小时3的时候调用函数使用的栈空间不再减小,而新的栈花费为52字节
原因:
这是因为运行时栈也是需要对齐的,而且GNU的默认对齐方式是16字节。我在编译时加上选项"-mpreferred-stack-boundary=2"将对齐方式设置为4字节(),之后我改变arr的大小,调用函数使用的栈空间只会平移而不会改变大小
在StackOverflow提问的回答:
很重要的一点是,在同一个函数中为声明的变量分配栈空间的顺序不一定按照声明的顺序分配,所以不能在函数调用之后声明另一个变量来探测栈顶
参考:
https://en.wikipedia.org/wiki/Data_structure_alignment
data structure alignment(数据对齐)的更多相关文章
- 对象内存 (扩展 Data Structure Alignment)
对于一个class object来说,我们需要多少内存才能表现出来,大致分为3类,这里在前面文章有内存图 (1)非静态数据成员的综合大小,这也符合了c++对象模型的结构 (2)填充字节,就是我们所说的 ...
- Data structure alignment by binary operation
在寫C的過程中,我們會很自然地以為,我連續宣告一堆大小不一的char array. 經過Complier之後這些char array未必是連續擺放.至於為什麼就要談到我們今天的主角了alignment ...
- 两数之和-数据结构设计 · Two Sum - Data structure design
[抄题]: 设计b并实现一个 TwoSum 类.他需要支持以下操作:add 和 find.add -把这个数添加到内部的数据结构.find -是否存在任意一对数字之和等于这个值 [思维问题]: 不知道 ...
- [LeetCode] 211. Add and Search Word - Data structure design 添加和查找单词-数据结构设计
Design a data structure that supports the following two operations: void addWord(word) bool search(w ...
- 【LeetCode】211. Add and Search Word - Data structure design 添加与搜索单词 - 数据结构设计
作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 公众号:负雪明烛 本文关键词:Leetcode, 力扣,211,搜索单词,前缀树,字典树 ...
- [LeetCode] Add and Search Word - Data structure design 添加和查找单词-数据结构设计
Design a data structure that supports the following two operations: void addWord(word) bool search(w ...
- [LeetCode] Two Sum III - Data structure design 两数之和之三 - 数据结构设计
Design and implement a TwoSum class. It should support the following operations:add and find. add - ...
- LeetCode 170. Two Sum III - Data structure design (两数之和之三 - 数据结构设计)$
Design and implement a TwoSum class. It should support the following operations: add and find. add - ...
- [Swift]LeetCode170.两数之和III - 数据结构设计 $ Two Sum III - Data structure design
Design and implement a TwoSum class. It should support the following operations:add and find. add - ...
随机推荐
- pickle模块 no attribute 'dumps'
今天写了一个pickle.py的文件练习pickle模块,代码如下: import pickle dic = {"linga": ('football',)} dic2 = {&q ...
- Module build failed: Module failed because of a eslint warning
eslint 设置 warning 级别,在 开发编译失败的原因,报错如下: F:\vue-mobile-skeleton>npm run dev > byhealth@1.0.0 dev ...
- webpack配置相关的页面异常
原文:https://www.cnblogs.com/Hsong/p/9023341.html 前言 在团队协作开发中,为了统一代码风格,避免一些低级错误,应该设有团队成员统一遵守的编码规范.很多语言 ...
- 【转】C语言将字符串转换成对应的数字(十进制、十六进制)
转自:http://wawlian.iteye.com/blog/1315133 1.一个十进制数字的字符串表示转换成对应的整数.举例:将“1234”转换成整数1234 /*将字符串s转换成相应的整数 ...
- 洛谷 P3912 素数个数
P3912 素数个数 题目描述 求1,2,\cdots,N1,2,⋯,N 中素数的个数. 输入输出格式 输入格式: 1 个整数NN. 输出格式: 1 个整数,表示素数的个数. 输入输出样例 输入样例# ...
- Java 获取环境变量
Java 获取环境变量Java 获取环境变量的方式很简单: System.getEnv() 得到所有的环境变量System.getEnv(key) 得到某个环境变量的值 由于某些需要,可能要下载某些 ...
- Qt之二维码扫描
简述 二维码(QR Code)是用某种特定的几何图形按一定规律在平面(二维方向)分布的黑白相间的图形记录数据符号信息的.是所有信息数据的一把钥匙.应用十分广泛,如:产品防伪/溯源.广告推送.网站链接. ...
- scrapy研究探索(二)——爬w3school.com.cn
下午被一个问题困扰了好一阵.终于使用还有一种方式解决. 開始教程二.关于Scrapy安装.介绍等请移步至教程(一)(http://blog.csdn.net/u012150179/article/de ...
- iOS Autolayout情况下,ViewController嵌套时,childViewController的Frame异常问题
近期项目中,使用Storyboard.AutoLayout开发,某个ViewController中嵌套了多个子ViewController,结果在将其加入到父ViewController时,出现坐标异 ...
- Oracle 学习笔记 13 -- 控制用户权限
数据库控制语言的功能室控制用户对数据库的存取权限. 用户对某类数据具有何种操作权限是有DBA决定的.Oracle 通过GRANT语句完毕权限的授予,通过REVOKE语句完毕对权限的收回. 权限分为系统 ...