Linux内存子系统及常用调优参数

1》内存子系统

　　　　　1>组件：

　　　　　　　　slab    allocator

　　　　　　　　buddy    system

　　　　　　　　kswapd

　　　　　　　　pdflush

　　　　　2>虚拟化环境：

　　　　　　　　 PA：进程地址；

　　　　　　　　 HA：虚拟机地址；

　　　　　　　　 MA：机器地址；

　　　　　　　　 虚拟机转换：PA---->HA

　　　　　　　　 GuestOS(来宾主机),OS（宿主主机）；

　　　　　　　　 Shadow   PT：影子列表

　　　　　3>Memory：

　　　　　　　　 TLB：提升性能；

　　　　　　　　  Hugetable  page:

　　　　　　　　　　　　　　使用的文件系统：Hugetlbfs;

　　　　　　　　　　　　　　        　　　 　　　

　　　　　　　　启用hugepages:

　　　　　　　　　　　　　　1)修改/etc/sysctl.conf：

　　　　　　　　　　　　　　　　　　vm.nr_hugepages = n

　　　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　 2) Kernel  parameter：

　　　　　　　　　　　　　　　　　　hugepages = n

2》创建hugepages从而被应用所使用（不必明确指定文件系统类型，应用要使用时会自动调用，一般MYSQL的缓存块需要使用大页面）：

　　　　　　　　　　

　　　　　　　　　　

3》Strace看进程如何运行，执行了哪些系统调用：

　　　　　1>strace  -p     PID　***查看启动进程的系统调用；

　　　　　　     

　　　　 2>strace   命令：查看命令的系统调用；

　　　　　　　　   

　　　　　　　strace  -c   命令:加入-c可以只输出命令过程中的摘要信息；

　　　　　　　　　　    　　　　　　

　　　　   -o：将追踪结果保存至文件中，以供后续分析使用；

4》优化内存子系统的使用：

　　　　　　1>尽可能降低微小内存对象的开销；

　　　　　　　　　　Slab   cache:　

　　　　　　　　　　　　　　 　　　　　　　　　　　　　　　

　　　　　　2>降低或延迟慢速子系统的服务时间；

　　　　　　　　　　Filesystem   metadata：buffer  cache(slab  cache)====>使用buffer  cache缓存文件元数据；

　　　　　　　　　　Disk  IO：page  cache====>使用page  cache来缓存DISK  IO，加速读操作;

　　　　　　　　　　Interprocess  communications：shared  memory====>使用共享内存来完成进程间通信；

　　　　　　　　　　Network  IO:buffer  cache,arp  cache,connection  ruacking====>使用buffer  cache,arp  cache和connection  tracking提升网络IO性能；

　　　　　　3>设置内存的最小空余KB；

　　　　　　4>注意避免内存过量使用：

　　　　　　　　　　　　物理内存的过量使用是以swap为前提的，可以超出物理内存一部分；

　　　　　　　　　　　　　　

　　　　　　　　　　　　　　0：不回收dentries和inodes；

　　　　　　　　　　　　　　1-99：倾向于不回收；

　　　　　　　　　　　　　　100：倾向性与page  cache和swap  cache相同；

　　　　　　　　　　　　　　100+：倾向于回收；

　　　　　　　　　　　　　　　　   　　

　　　　　　　　　　内存溢出(OOM):当内核发现由于发生内存溢出而无法再使用时会强制杀死占用大量内存的进程；

　　　　　　5>调整网络IO的ARP缓存（/proc/net/arp）；

5》进程间通信相关内存的调优：

　　　　　　1>进程间通信类型：messages,semaphores,shared  memory;

　　　　　　　　　　　　

　　　　　　2>查看三者当前的限值：

　　　　　　　　　　  

　　　　　　3>进程间通信管理类命令：

　　　　　　　　　　ipcs:查看一些消息队列；

　　　　　　　　　　ipcrm:删除某些已经失去作用的消息队列，释放内存；

　　　　　　4>share  memory  和messages的相关参数：

　　　　　　　　　　shm:

　　　　　　　　　　　　shmmni:系统级别，所允许使用的共享内存段上限；

　　　　　　　　　　　　shmall：系统级别，能够为共享内存分配使用的最大页面数；

　　　　　　　　　　　　shmmax：单个共享内存段的上限；

　　　　　　　　　　messages:

　　　　　　　　　　　　msgmnb：单个消息队列的上限，单位为字节，默认是16384；

　　　　　　　　　　　　msgmni：系统级别，消息队列个数上限；

　　　　　　　　　　　　msgmax：单个消息大小的上限，单位为字节；

　　　　　　5>手动清写脏缓存和缓存，然后回收：

　　　　　　　　　　　　sync:

　　　　　　　　　　　　echo  s  >  /proc/sysrq-trigger

　　　　　　　　 回收：

　　　　　　　　　　　　echo  1 >  /proc/sys/vm/drop_caches

　　　　　　　　　　　　　　

　　　　　　　　　　　　1  to   free   pagecache

　　　　　　　　　　　　2  to   free   dentries   and   inodes

　　　　　　　　　　　　3  to   free   pagecache,dentries  and  inodes

　　　　　　6>Out-of-memory  killer:

　　　　　　　　　　决定各个进程是否会被杀死的数值oom_score:

　　　　　　　　　　　　　　　　-16-15:帮助计算oom_score

　　　　　　　　　　　　　　　　-17:disables  the oom_killer  for  that  process

6》Swap相关：

　　　　　　1>哪些页面会被swap:

　　　　　　　　　　　　　非活动页；

　　　　　　　　　　　　　匿名页；

　　　　　　　　Swap  cache：可以有效的避免资源竞争；　　

　　　　　　2>如何提高swap的性能：

　　　　　　　　　　降低swap的think time,意味着我们使用小的swap分区；

　　　　　　　　　　降低访问次数，尽量不要使用swap，增大物理内存，不行的话就增加多个swap分区；

　　　　　　　　　　降低服务时间；　　　　　　　 　　　　　　　　

7》监控内存使用相关命令：

　　　　　　　　sar   -r：查看内存活动情况；

　　　　　　　　sar  -R：内存变换速率；

　　　　　　　　sar  -W：缓存空间活动情况；

　　　　　　　　sar  -B：I/O使用情况，报告页面换进换出；