Win 内存映射和堆栈
内存映射和堆栈
内存映射文件
内存映射文件可以用于3个不同的目的:
系统使用内存映射文件,以便加载和执行.exe和DLL文件。这可以大大节省页文件空间和应用程序启动运行所需的时间。
可以使用内存映射文件来访问磁盘上的数据文件。这使你可以不必对文件执行I/O操作,并且可以不必对文件内容进行缓存。
可以使用内存映射文件,使同一台计算机上运行的多个进程能够相互之间共享数据。Windows确实提供了其他一些方法,以便在进程之间进行数据通信,但是这些方法都是使用内存映射文件来实现的,这使得内存映射文件成为单个计算机上的多个进程互相进行通信的最有效的方法。
内存映射数据文件的方法
1、 一个文件,一个缓存(缓存要足够大)
2、 一个文件,两个缓存(两个大小一致的缓存,顺序存放数据)
3、 两个文件,一个缓存(在新文件中操作,结束后删除源文件)
4、 一个文件,零个缓存(虚拟内存中操作,系统管理文件)
内存映射文件的使用
若要使用内存映射文件,必须执行下列操作步骤:
1) 创建或打开一个文件内核对象,该对象用于标识磁盘上你想用作内存映射文件的文件。

1 //CreateFile()函数
2 HANDLE CreateFileW(
3 __in LPCWSTR lpFileName,//文件名
4 __in DWORD dwDesiredAccess,//访问方式
5 __in DWORD dwShareMode,//共享方式
6 __in_opt LPSECURITY_ATTRIBUTES lpSecurityAttributes,//安全结构
7 __in DWORD dwCreationDisposition,//创建标志
8 __in DWORD dwFlagsAndAttributes,//
9 __in_opt HANDLE hTemplateFile//模板文件
10 );

2) 创建一个文件映射内核对象,告诉系统该文件的大小和你打算如何访问该文件。

1 //CreateFileMapping()函数
2 HANDLE CreateFileMappingW(
3 __in HANDLE hFile,//文件内核句柄
4 __in_opt LPSECURITY_ATTRIBUTES lpFileMappingAttributes,//安全属性
5 __in DWORD flProtect, //保护属性
6 __in DWORD dwMaximumSizeHigh,//最大字节数,高32位
7 __in DWORD dwMaximumSizeLow,//低32位
8 __in_opt LPCWSTR lpName//文件映射对象名
9 );

3) 让系统将文件映射对象的全部或一部分映射到你的进程地址空间中。

1 //MapViewOfFile()//将文件数据映射到进程的地址空间
2 LPVOID MapViewOfFile(
3 __in HANDLE hFileMappingObject,//文件映射对象句柄
4 __in DWORD dwDesiredAccess,//访问属性
5 __in DWORD dwFileOffsetHigh,//第一个映射字节,高32位
6 __in DWORD dwFileOffsetLow,//低32位
7 __in SIZE_T dwNumberOfBytesToMap//映射的字节数量
8 );

当完成对内存映射文件的使用时,必须执行下面这些步骤将它清除:
1) 告诉系统从你的进程的地址空间中撤消文件映射内核对象的映像。
1 //Un MapViewOfFile()//
2 BOOL UnmapViewOfFile(
3 __in LPCVOID lpBaseAddress// MapViewOfFile的返回值,基地址
4 );
2) 关闭文件映射内核对象。
//CloseHandle()
3) 关闭文件内核对象。
//CloseHandle()
为了提高速度,系统将文件的数据页面进行高速缓存,并且在对文件的映射视图进行操作时不立即更新文件的磁盘映像。如果需要确保你的更新被写入磁盘,可以强制系统将修改过的数据的一部分或全部重新写入磁盘映像中,方法是调用FlushViewOfFile函数。
1 BOOL FlushViewOfFile(
2 __in LPCVOID lpBaseAddress,//基地址,以页为单位
3 __in SIZE_T dwNumberOfBytesToFlush//要刷新的字节数
4 );
内存映射文件的相关性
系统允许你映射一个文件的相同数据的多个视图。例如,你可以将文件开头的10KB映射到一个视图,然后将同一个文件的头4KB映射到另一个视图。只要你是映射相同的文件映射对象,系统就会确保映射的视图数据的相关性。例如,如果你的应用程序改变了一个视图中的文件内容,那么所有其他视图均被更新以反映这个变化。这是因为尽管页面多次被映射到进程的虚拟地址空间,但是系统只将数据放在单个RAM页面上。如果多个进程映射单个数据文件的视图,那么数据仍然是相关的,因为在数据文件中,每个RAM页面只有一个实例——正是这个RAM页面被映射到多个进程的地址空间。但是如果多个进程读写同一个文件,就会出现同步问题。
堆栈
对内存进行操作的第三个机制是使用堆栈。堆栈可以用来分配许多较小的数据块。例如,若要对链接表和链接树进行管理,最好的方法是使用堆栈,而不是虚拟内存操作方法或内存映射文件操作方法。堆栈的优点是,可以不考虑分配粒度和页面边界之类的问题,集中精力处理手头的任务。堆栈的缺点是,分配和释放内存块的速度比其他机制要慢,并且无法直接控制物理存储器的提交和回收。
当进程初始化时,系统在进程的地址空间中创建一个堆栈。该堆栈称为进程的默认堆栈。
按照默认设置,该堆栈的地址空间区域的大小是 1 MB。但是,系统可以扩大进程的默认堆栈,使它大于其默认值。
对默认堆栈的访问是顺序进行的。如果有多个线程只能顺序访问。默认堆栈是在进程开始执行之前创建的,并且在进程终止运行时自动被撤消。不能撤消进程的默认堆栈。每个堆栈均用它自己的堆栈句柄来标识,用于分配和释放堆栈中的内存块的所有堆栈函数都需要这个堆栈句柄作为其参数。除了进程的默认堆栈外,可以在进程的地址空间中创建一些辅助堆栈。
辅助堆栈的功能:保护组件、更加有效地进行内存管理、进行本地访问、减少线程同步的开销、迅速释放。
保护组件
将控制和数据分开保存。
更加有效地进行内存管理
在堆栈中分配相同大小的对象。
进行本地访问
可能将要同时访问的数据放在相互靠近的位置上。
减少线程同步的开销
这样的话,你必须自己控制线程的安全性。
迅速释放
将专用堆栈用于某些数据结构后,就可以释放整个堆栈,而不必显式释放堆栈中的每个内存块。
在进程中创建辅助堆栈
1 HANDLE WINAPI HeapCreate(
2 _In_ DWORD flOptions,//如何在堆栈上执行各种操作
3 _In_ SIZE_T dwInitialSize,// 最初提交给堆栈的字节数
4 _In_ SIZE_T dwMaximumSize//堆栈能够扩展到的最大值,为0时没有内存限制
5 );
参数一可以设定0、HEAP_NO_SERIALIZE、HEAP_GENERATE_EXCEPTIONS或者是这两个标志的组合。
若要从堆栈中分配内存块,只需要调用HeapAlloc函数:
1 LPVOID WINAPI HeapAlloc(
2 _In_ HANDLE hHeap,// 标识分配的内存块来自的堆栈的句柄
3 _In_ DWORD dwFlags,// 设定从堆栈中分配的内存块的字节数
4 _In_ SIZE_T dwBytes//设定影响分配的各个标志
5 );
参数三 支持的标志有3个:HEAP_ZERO_MEMORY、HEAP_GENERATE_EXCEPTIONS和HEAP_NO_SERIALIZE。
注意 :当你分配较大的内存块(大约1MB或者更大)时,最好使用VirtualAlloc函数,应该避免使用堆栈函数。
当从堆栈分配内存块时,需要一个请求过程:
1) 遍历分配的和释放的内存块的链接表。
2) 寻找一个空闲内存块的地址。
3) 通过将空闲内存块标记为“已分配”分配新内存块。
4) 将新内存块添加给内存块链接表。
当内存块增大或者减少时可以使用函数HeapReAlloc()函数改变内存块的容量
1 LPVOID WINAPI HeapReAlloc(
2 _In_ HANDLE hHeap,// 标识分配的内存块来自的堆栈的句柄
3 _In_ DWORD dwFlags,// 设定改变内存块大小时HeapReAlloc函数应该使用的标志
4 _In_ LPVOID lpMem,// 要改变其大小的内存块的地址
5 _In_ SIZE_T dwBytes//内存块的新的大小
6 );
参数二 可以使用的标志只有下面4个,即HEAP_GENERATE_EXCEPTIONS、HEAP_NO_SERIALIZE、HEAP_ZERO_MEMORY(扩大内存是填充0)和HEAP_REALLOC_IN_PLACE_ONLY(改变时不移动堆栈的内存块)
当内存块分配后,可以调用HeapSize函数来检索内存块的实际大小:
1 SIZE_T WINAPI HeapSize(
2 _In_ HANDLE hHeap,//标识堆栈
3 _In_ DWORD dwFlags,//这里只能是0或者HEAP_NO_SERIALIZE
4 _In_ LPCVOID lpMem//内存块的地址
5 );
当不再需要内存块时,可以调用HeapFree函数将它释放:
1 BOOL WINAPI HeapFree(
2 _In_ HANDLE hHeap,//标识堆栈
3 _In_ DWORD dwFlags,// 这里只能是0或者HEAP_NO_SERIALIZE
4 _In_ LPVOID lpMem//内存块的地址
5 );
如果应用程序不再需要它创建的堆栈,可以通过调用HeapDestroy函数将它撤消:
BOOL WINAPI HeapDestroy(
_In_ HANDLE hHeap//标识堆栈
);
如何在C++中使用堆栈
在C++中,调用new操作符,而不是调用通常的C运行期例程malloc,就可以执行类对象的分配操作。然后,当我们不再需要这个类对象时,调用delete操作符,而不是调用通常的C运行期例程free将它释放。
通过为我们的C + +类重载new和delete操作符,就能够很容易地利用堆栈函数。
其他和堆栈相关的函数
GetProcessHeaps函数来获取现有堆栈的句柄
HeapValidate函数用于验证堆栈的完整性
HeapCompact()合并地址中的空闲内存块并收回不包含已经分配的地址内存块的存储器页面
HeapLock和HeapUnlock 线程同步
HeapWalk() 用于调试目的
堆栈这里有点....
Win 内存映射和堆栈的更多相关文章
- JAVA NIO FileChannel 内存映射文件
文件通道总是阻塞式的. 文件通道不能创建,只能通过(RandomAccessFile.FileInputStream.FileOutputStream)getChannel()获得,具有与File ...
- 内存映射与DMA
1.mmap系统调用的实现过程,该系统调用直接将设备内存映射到用户进程的地址空间. 2.用户空间内存如何映射到内核中(get_user_pages). 3.直接内存访问(DMA),他使得外设具有直接访 ...
- Win内存分配函数(GlobalAlloc/HeapAlloc/LocalAlloc/VirtualAlloc)
Win内存分配函数(GlobalAlloc/HeapAlloc/LocalAlloc/VirtualAlloc) 来源:http://blog.csdn.net/chunyexiyu/article/ ...
- 《Linux Device Drivers》第十五章 内存映射和DMA——note
简单介绍 很多类型的驱动程序编程都须要了解一些虚拟内存子系统怎样工作的知识 当遇到更为复杂.性能要求更为苛刻的子系统时,本章所讨论的内容迟早都要用到 本章的内容分成三个部分 讲述mmap系统调用的实现 ...
- 全面介绍Windows内存管理机制及C++内存分配实例(四):内存映射文件
本文背景: 在编程中,很多Windows或C++的内存函数不知道有什么区别,更别谈有效使用:根本的原因是,没有清楚的理解操作系统的内存管理机制,本文企图通过简单的总结描述,结合实例来阐明这个机制. 本 ...
- LDD3 第15章 内存映射和DMA
本章内容分为三个部分: 第一部分讲述了mmap系统调用的实现过程.将设备内存直接映射到用户进程的地址空间,尽管不是所有设备都需要,但是能显著的提高设备性能. 如何跨越边界直接访问用户空间的内存页,一些 ...
- 面向开发的内存调试神器,如何使用ASAN检测内存泄漏、堆栈溢出等问题
GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 目录 介绍 如何使用 ASAN 检测内存泄漏 检测悬空指针访问 检测堆溢出 C++ 中的new/delete不匹配 检测栈 ...
- 内存映射文件MemoryMappedFile使用
参考资料: http://blog.csdn.net/bitfan/article/details/4438458 所谓内存映射文件,其实就是在内存中开辟出一块存放数据的专用区域,这区域往往与硬盘上特 ...
- Python之mmap内存映射模块(大文本处理)说明
背景: 通常在UNIX下面处理文本文件的方法是sed.awk等shell命令,对于处理大文件受CPU,IO等因素影响,对服务器也有一定的压力.关于sed的说明可以看了解sed的工作原理,本文将介绍通过 ...
随机推荐
- NSString 筛选和最后一个空白、空行,多换行成一个新行
- (NSString *)filterBlankAndBlankLines:(NSString *)str { NSMutableString *Mstr = [NSMutableString st ...
- 利用css新属性appearance优化select下拉框
<!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <m ...
- 使用Mockito进行单元测试【1】——mock and verify[转]
本文转自:http://qiuguo0205.iteye.com/blog/1443344 1. 为什么使用Mockito来进行单元测试? 回答这个问题需要回答两个方面,第一个是为什么使用mock?m ...
- Scrapy研究和探索(七)——如何防止被ban大集合策略
说来设置的尝试download_delay少于1,不管对方是什么,以防止ban策略后.我终于成功ban该. 大约scrapy利用能看到以前的文章: http://blog.csdn.net/u0121 ...
- ASP.NET 5- 1
ASP.NET 5 入门(1) - 建立和开发ASP.NET 5 项目 ASP.NET入门(1) - 建立和开发ASP.NET 5 项目 建立项目 首先,目前只有VS 2015支持开发最新的ASP ...
- WPF - Visual调试工具Snoop
原文:WPF - Visual调试工具Snoop Snoop经过很长一段时间,最近更新到支持NET 3.5了,它是一个WPF运行时对Visual UI调试的一个工具,最近我用过它调试修改过一个bug, ...
- Sql数据类型转换
一.ASCII码值与字符间转换 1.ASCII()与CHAR() ASCII()返回字符表达式最左端字符的ASCII 码值.在ASCII()函数中,纯数字的字符串可不用''括起来,但含其 ...
- 教你一步一步部署.net免费空间OpenShift系列之二------创建应用
接上回书,注册完毕后需要在Openshift上创建一个应用空间,如如何创建空间呢,Openshift本身是不直接支持Mono来部署ASP.Net程序的,需要借助openshift-community- ...
- 【百度地图API】北京周边7日游——图标按路线轨迹行动
原文:[百度地图API]北京周边7日游--图标按路线轨迹行动 任务描述: 春节就要来啦~酸奶小妹的妈妈要从遥远的重庆,来到北京过春节呢!酸奶小妹忙着给妈妈计划,北京周边的旅游线路.计划好路线后,就开始 ...
- Performing User-Managed Database-18.4、Restoring Datafiles and Archived Redo Logs
18.4.Restoring Datafiles and Archived Redo Logs 假定介质故障损坏的一个或多个数据文件,数据文件必须恢复损坏的文件之前恢复. 该位置是不是想恢复原来姿势. ...