前言

内存的基本知识,将在操作系统篇中详细介绍,这里只说明如何排查问题。

正文

内存的分配和回收:

在malloc 是c 标准库中的内存分配函数,对应到系统调用上,有两种实现方式,一种是brk()和 mmap()

对于小块内存,小于128k 使用brk来分配,也就是通过移动堆栈的位置来分配内存。这些内存释放后,不会立即归还给系统,而是缓存起来。

大块内存,使用mmap()分配,在文件映射段找一块空闲内存分配出去。

brk() 方式的缓存,可以减少缺页异常的发生,提高内存访问效率。不过这些内存没有归还系统,在内存工作繁忙时, 频繁的内存分配和稀释会造成内存碎片。

而mmap() 方式分配的内存,会释放时直接规划系统,所以每次mmap 都会发生缺页异常。在内存工作繁忙时,频繁的内存分配导致大量的缺页异常,使内核的管理负担增大。

那么就到了内存不足的情况:

  1. 回收缓存,比如使用lru算法,回收最近使用最少的内存页面

  2. 回收不常用访问的内存,把不常用的内存通过交互分区直接写道磁盘中。

  3. 杀死进程,内存紧张时,系统会通过oom,直接杀死占用大量内存的进程。

第一种好理解,就是回收内存,在操作系统篇会介绍的比较详细。

第二种,回收不常用的内存,会用到交换分区。swap 其实就是把一块磁盘空间当作内存来用。它可以把进程暂不用的磁盘写入到内存中。

第三种是oom。

  1. 一个进程消耗的内存越大,oom_score 就越大。

  2. 一个进程运行占用的cpu越多,oom_score 就越小。

oom_adj 的范围 是[-17,15],数值越大,表示进程越容易被oom杀死。数值越小,表示进程越不容易被oom杀死,-17表示禁用oom。

一般情况下,查看内存的方式为

里面有几个参数:

total : 一共多少内存

used: 使用了多少内存

free: 没有使用多少内存

shared: 共享内存大小

buff/cache 是缓存和缓冲区的大小

available: 表示新进程可用内存大小

availabel 不仅包含了free内存,还包含了可回收内存。

如果要看到进程的内存使用情况:

这里有另外几个参数:

  1. virt 是进程虚拟内存的大小, 只要进程申请过的内存, 即便还没有真正分配物理内存,也会计算在内。

  2. res 是长驻内存的大小,也就是进程实际使用的物理内存大小,但是不包含swap和共享内存。

  3. shr 是共享内存大小

  4. %mem 是进程使用物理内存占用系统内存的百分比

注意:

  1. 虚拟内存通常并不会全部分配物理内存。一般虚拟内存比长驻内存要大得多。

  2. 共享内存并不一定正在的共享比如程序代码段,非共享的动态链接库,也都算在shr里面。

下面看下cached 和 buff的区别:

在free 手册中:

  1. buffers 是内核缓冲区用到的内存,对于了/proc/meminfo 中的 buffers

  2. cache 是内核页缓存和slab 用到的内存,对应的是/proc/meminfo 中的cached 与 SReclaimable 之和。

查看/proc/meminfo的描述:

buffers 是对原始磁盘快的临时存储,也就是用来缓存磁盘的数据,通常不会特别大。

这样内核就可以把分散的写集中起来,同一优化磁盘的写入,比如可以多次小的合并单次单的写。

cached 是从磁盘读取文件的缓存,也就是用来缓存从文件读取的数据。这样下次访问这些文件的时候,就可以直接从内存中读取,不用访问磁盘。

所以呢? 一个是读一个是写,都是磁盘的概念。

和我们应用程序的缓存和缓冲不一样。

但是是不是写的时候只要 buffer 有影响,但是都cache 没有影响呢?

在写文件的时候对buffer 和 cache 都有影响,对写磁盘对 buffer 有影响。

同样读的时候也是一样的,对于磁盘来说,无论读还是写,都对buffer和cache 都有影响。

下一节,内存泄漏怎么分析。

linux 性能自我学习 ———— 关于内存 [七]的更多相关文章

  1. Linux 性能监控之CPU&内存&I/O监控Shell脚本2

    Linux 性能监控之CPU&内存&I/O监控Shell脚本2   by:授客 QQ:1033553122 思路: 捕获数据->停止捕获数据->提取数据 备注:一些命令的输 ...

  2. Linux 性能监控之CPU&内存&I/O监控Shell脚本1

    Linux 性能监控之CPU&内存&I/O监控Shell脚本1   by:授客 QQ:1033553122   #!/bin/bash # 获取要监控的本地服务器IP地址 IP=`if ...

  3. 深挖计算机基础:Linux性能优化学习笔记

    参考极客时间专栏<Linux性能优化实战>学习笔记 一.CPU性能:13讲 Linux性能优化实战学习笔记:第二讲 Linux性能优化实战学习笔记:第三讲 Linux性能优化实战学习笔记: ...

  4. Linux性能优化从入门到实战:01 Linux性能优化学习路线

      我通过阅读各种相关书籍,从操作系统原理.到 Linux内核,再到硬件驱动程序等等.   把观察到的性能问题跟系统原理关联起来,特别是把系统从应用程序.库函数.系统调用.再到内核和硬件等不同的层级贯 ...

  5. Linux系统自我学习的一些笔记1

    远程连接: 1.查看IP地址  ip addr 2.远程登陆linux系统 ssh  主机名@IP地址 文件操作: 新建文件touch 例如:touch test.txt (创建单个文件) 例如:to ...

  6. Linux性能优化思路

    性能测试的核心,就是找出性能瓶颈并进行性能优化,解决"慢"的问题,最终满足客户业务需求. [性能需求来源及性能问题现象] 性能需求的来源,主要分为以下几类: 项目组提出性能需求: ...

  7. Linux性能优化实战学习笔记:第五十五讲

    一.上节回顾 上一节,我们一起学习了,应用程序监控的基本思路,先简单回顾一下.应用程序的监控,可以分为指标监控和日志监控两大块. 指标监控,主要是对一定时间段内的性能指标进行测量,然后再通过时间序列的 ...

  8. 【转】一文掌握 Linux 性能分析之内存篇

    [转]一文掌握 Linux 性能分析之内存篇 前面我们已经学习了 CPU 篇,这篇来看下内存篇. 01 内存信息 同样在分析内存之前,我们得知到怎么查看系统内存信息,有以下几种方法. 1.1 /pro ...

  9. Linux设备驱动程序学习之分配内存

    内核为设备驱动提供了一个统一的内存管理接口,所以模块无需涉及分段和分页等问题. 我已经在第一个scull模块中使用了 kmalloc 和 kfree 来分配和释放内存空间. kmalloc 函数内幕 ...

  10. Linux性能优化实战学习笔记:第十八讲

    一.内存的分配和回收 1.管理内存的过程中,也很容易发生各种各样的“事故”, 对应用程序来说,动态内存的分配和回收,是既核心又复杂的一的一个逻辑功能模块.管理内存的过程中,也很容易发生各种各样的“事故 ...

随机推荐

  1. 牛客周赛34(A~E)

    A 两种情况 两个字符相同只有2 两个字符不相同4 #include <bits/stdc++.h> #define int long long #define rep(i,a,b) fo ...

  2. spring 注入参数时为list map写法用例

    导包基础:这了让服务器支持json 需要导入下面包 <dependency> <groupId>com.alibaba</groupId> <artifact ...

  3. 使用 Docker 部署 GLPI 资产管理系统

    1)GLPI 介绍 GLPI 简介 参考: https://github.com/glpi-project/glpi 官方文档:https://glpi-project.org/documentati ...

  4. folder-alias vscode左侧目录树 起别名 插件 (git decorations)

    folder-alias vscode左侧目录树 起别名 插件 插件 效果 不足 文件路径或目录路径中包含中文 会挂不上别名,纯英文路径没问题 有修改后,git会覆盖,不显示别名 个人意见 我的项目都 ...

  5. vscode 提取扩展时出错 XHR failed

    vscode 提取扩展时出错 XHR failed 起因 vscode 安装 Bracket Pair Color DLW 插件,商店打不开了 解决方案 打开 hosts 添加 13.107.42.1 ...

  6. .NET数据库ORM框架SqlSugar使用笔记

    官方介绍 以下介绍来自SqlSugar官网: 高性能 ,不夸张的说,去掉Sql在数据库执行的时间,SqlSugar是EF数倍性能,另外在批量操作和一对多查询上也有不错的SQL优化 高扩展性 ,支持自定 ...

  7. manjaro安装/卸载gnome/kde桌面环境

    安装gnome桌面环境 步骤 1. 在运行以下教程之前,请确保我们的系统是最新的: sudo pacman -Syu 步骤 2. 在 Manjaro 20 上安装 GNOME 桌面. 现在我们通过执行 ...

  8. python下进行10进制转16进制不带0x并且将16进制转成小端序

    前记   python涉及到和硬件互交的部分,一般是需要发送十六进制的帧长的.所以,python这个转换还是经常使用的.笔者在这里遇到了一个问题.就做一个记录吧. 基本方法:  假如你熟悉python ...

  9. 精通 Grails: 测试 Grails 应用程序

    排除 bug,构建可执行文档 Grails 可以轻松确保您的应用程序从始至终都远离 bug.这还有另一个好处,您可以利用测试代码生成一组通常是最新的可执行文档.本月 Grails 专家 Scott D ...

  10. 软件开发、持续集成(CI)、持续交付(CD)、持续部署(CD) 和 版本管理(Version Control) 的理解和思考

    PS:要转载请注明出处,本人版权所有. PS: 这个只是基于<我自己>的理解, 如果和你的原则及想法相冲突,请谅解,勿喷. 前置说明   本文作为本人csdn blog的主站的备份.(Bl ...