/dev/shm 引起的内存统计问题
最近,有个同事问我,怎么准确地描述linux系统到底还有多少内存可供我使用。这里不扯内存碎片问题,就说剩余总量。
如下:
cat /proc/meminfo
MemTotal: 263796812 kB
MemFree: 195262832 kB
Buffers: 151084 kB
Cached: 11514484 kB
一般常见的回答,可以认为使用的内存是,free +buff +cache
那好,做如下的动作:
dd if=/dev/zero of=/dev/shm/caq.txt bs=1024k count=3072
然后再查看内存打印:
MemTotal: 263796812 kB
MemFree: 192100716 kB
Buffers: 151108 kB
Cached: 14660744 kB
可以看到,free减少了3G,cache增加了3G,buff几乎不变,那么三者相加,就没变化,难道说系统的可用内存没有变化么?
按照可分配的内存余量,应该减去这3G,那么这3G什么时候该减,什么时候不该减呢?
因为这段内存在inative的匿名页中增长了,所以有人说那就直接减去inactive的匿名页呗。
但事实上,inactive和active,是从时间维度统计lru中的inactive列表和active列表中的内存,也就是和统计free之类的不在一个维度,这个是时间维度。
比如在/dev/shm中放一个文件,里面是可执行代码,那么当他执行的时候,inactive就该增长,active下降,但是该代码确算在cache里面的。
如果在/dev/shm中放一个文件,里面是业务数据,当你不停使用这些业务数据的时候,它就在active中,不用的时候,又会算在inactive中。
针对我们的应用,我们/dev/shm里面引用的都是数据文件,且这些文件是当做不可替换的缓存来使用的,那么,真正可用的内存,就应该减去这部分。
# du -sh /dev/shm
3.1G /dev/shm
在低版本的内核中,如上的算法是没有问题的,当然在实际应用过程中,内存文件系统不光光放在路径是/dev/shm,这个跟挂载相关,但是减去内存文件系统占用的空间的思路,
是没有问题的,比如ramfs和tmpfs所占用的内存。
经同事文洋提醒,在高版本的内核中,我的是在3.10中,看到有一个新增的MemAvailable的,这个可以比较准备地确定系统可用的内存。
# cat /proc/meminfo
MemTotal: 263211692 kB
MemFree: 166037452 kB
MemAvailable: 182662748 kB ---------------------有一个新增的量
Buffers: 281376 kB
Cached: 27166980 kB
查看了一下MemAvailable的意义,在proc.txt中:
MemAvailable: An estimate of how much memory is available for starting new applications, without swapping. Calculated from MemFree,
SReclaimable, the size of the file LRU lists, and the low watermarks in each zone.
The estimate takes into account that the system needs some page cache to function well, and that not all reclaimable
slab will be reclaimable, due to items being in use. The impact of those factors will vary from system to system.
也就是这个是不算swap,可以直接提供的内存量,到底怎么计算的呢?
看了网上一些人的资料,看到一个例子是MemAvailable 小于free,这个我觉得比较奇怪,对照一下代码看下MemAvailable 是怎么计算的:
在函数 si_mem_available 中找到如下实现:
/*
* Estimate the amount of memory available for userspace allocations,
* without causing swapping.
*/
available = global_page_state(NR_FREE_PAGES) - totalreserve_pages;----------这个导致了有可能available 小于free,如果lru基本为空的话
/*
* Not all the page cache can be freed, otherwise the system will
* start swapping. Assume at least half of the page cache, or the
* low watermark worth of cache, needs to stay.
*/
pagecache = pages[LRU_ACTIVE_FILE] + pages[LRU_INACTIVE_FILE];
pagecache -= min(pagecache / 2, wmark_low);
available += pagecache;
/*
* Part of the reclaimable slab consists of items that are in use,
* and cannot be freed. Cap this estimate at the low watermark.
*/
available += global_page_state(NR_SLAB_RECLAIMABLE) -
min(global_page_state(NR_SLAB_RECLAIMABLE) / 2, wmark_low);--------------这里加上可以回收的slab,再减去可回收slab的一半与low水线的一半。
从算法实现可以看出,available 也是一个近视值,经验算法,能大体评估不经过swap而获取的内存量。
/dev/shm 引起的内存统计问题的更多相关文章
- linux下修改/dev/shm tmpfs文件系统大小
默认系统就会加载/dev/shm ,它就是所谓的tmpfs,有人说跟ramdisk(虚拟磁盘),但不一样.象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储.而且传统的 ...
- 直播流怎么存储在Ceph对象存储上? Linux内存文件系统tmpfs(/dev/shm) 的应用
一./dev/shm理论 默认的Linux发行版中的内核配置都会开启tmpfs,映射到了/dev/下的shm目录.可以通过df 命令查看结果./dev/shm/是linux下一个非常有用的目录,因为这 ...
- 记一次共享内存/dev/shm 小于memory_target 引发的客户DB 宕机问题
1> 记一次共享内存/dev/shm 小于memory_target 引发的客户DB 宕机问题(处理心得)
- dev/shm time in linux
统计文件夹大小: du -hx --max=1 : du -sk :du -hsc 重新组织行分隔符进行显示: echo "abc,dd,bach,dong,jing,shang,china ...
- oracle对/dev/shm的使用
查看共享内存打开的文件数 [root@db2 ~]# lsof -n | grep /dev/shm | wc -l 34693 共享内存中总共文件数 [root@db2 ~]# ls -l /dev ...
- 浅析/dev/shm
一,/dev/shm 概念 /dev/shm 是一个tmpfs文件系统,临时文件系统,是基于内存的文件系统,也就是说/dev/shm中的文件是直接写入内存的,而不占用硬盘空间. 在Centos和Red ...
- Linux下的tmpfs文件系统(/dev/shm)
转自:http://www.2cto.com/os/201411/354888.html 介绍 /dev/shm/是一个使用就是tmpfs文件系统的设备,其实就是一个特殊的文件系统.redhat中默认 ...
- linux下的/dev/shm目录
linux下的/dev/shm目录 linux中/dev目录下一般都是一些设备文件,例如磁盘.内存.摄像头等. /dev/shm这个目录是linux下一个利用内存虚拟出来的一个目录,这个目录中的文件都 ...
- 巧用linux服务器的/dev/shm/,如果合理使用,可以避开磁盘IO不给力,提高网站访问速度。
巧用linux服务器的/dev/shm/ 巧用linux服务器的/dev/shm/,如果合理使用,可以避开磁盘IO不给力,提高网站访问速度. 首先让我们认识一下,什么是tmpfs和/dev/shm/? ...
随机推荐
- hadoop集群篇--从0到1搭建hadoop集群
一.前述 本来有套好好的集群,可是不知道为什么虚拟机镜像文件损坏,结果导致集群不能用.所以不得不重新搭套集群,借此机会顺便再重新搭套吧,顺便提醒一句大家,自己虚拟机的集群一定要及时做好快照,最好装完每 ...
- 警惕phpstudy等开发神器使用默认配置可能带来的危险
0x00 前言 其实这个点早在之前,我就已经想到了,当时也觉得没啥就记在了我的印象笔记里. 而今天重新把这个点拿出来讲,主要是因为今天早上在温习nmap的时候,一不小心利用这个点,拿下了一位同事的电脑 ...
- Javascript一句代码实现JS字符串去除重复字符
需求: 原字符串:abcdabecd 去重后字符串:abcde JS字符串去重,一个简单需求,网上找案例发现都是一大堆代码,对于强迫症的我 实再无法忍受,于是自己手动写出一段代码,完美解决该问题. 代 ...
- 微信小程序实现简易留言板
微信小程序现在很火,于是也就玩玩,做了一个简易的留言板,让大家看看,你们会说no picture you say a j8 a,好吧先上图. 样子就是的,功能一目了然,下面我们就贴实现的代码,首先是H ...
- Unity3d 动态加载场景物件与缓存池的使用
聊聊Unity3d动态加载场景物件那些事儿. 众所周知,在策划或美术设计完游戏场景地图后,一个场景中可能会存在成千上万个小的物件,比如石头,木箱子,油桶,栅栏等等等等,这些物件并不是游戏中的道具,仅仅 ...
- [转载]CentOS 7安装Gnome GUI 图形界面
原文链接:http://www.centoscn.com/image-text/config/2015/0528/5552.html 当你安装centos服务器版本的时候,系统默认是不会安装 Cent ...
- .Net Core建站(4):FTP发布项目及连接服务器数据库
总感觉,今天(2018-1-14)下午写不完这篇,虽然蛮简单,只是点点点,,, 主要是记录两个, 1.连接服务器的数据库 2.项目FTP发布到服务器 使用数据库:SQL Service 2017 使用 ...
- iphone微信后退不刷新的问题
查看了很多解决ios微信返回不刷新页面的文章,大部分都是利用H5的新特性history来进行解决的,而且很多人的想法都是用了pushstate和popstate来实现了这个功能,但是用pushstat ...
- Java眼中的XML--------文件读取
XML 的初次邂逅 初次邂逅XML 如何进行XML文件解析前的准备工作 在Java程序中如何获取xml文件的内容 在Java程序中读取xml文件的过程也成为----解析xml文件 解析的目的:获取节 ...
- spring mvc的跨域解决方案
什么是跨域 一句话:同一个ip.同一个网络协议.同一个端口,三者都满足就是同一个域,否则就是跨域. 为什么非得跨域 基于两个方面: a. web应用本身是部署在不同的服务器上 b.基于开发的角度 -- ...