嘿,你能顺便过来看看这个奇怪的事情吗?” 就是让我提供支持的这个事情,驱使我写下这篇博客的。这个特殊的问题是,不同工具给出的可用内存的报告是不一样的。

简而言之,工程师正在调查特定应用程序的内存使用。根据以往的经验,他给这个应用指定了2G堆内存。但是不知道什么原因,JVM工具似乎不能确定这个程序到底有多少内存。例如 jconsole 探测可用堆总共为1963M,但 jvisualvm 报告称堆为2048M。到底哪一个是正确的呢?为什么另一个给出了不一样的信息呢?

这的确很不可思议,特别是以往的认知被突然改变。表面上JVM没有耍任何花招:

  • -Xmx 和 -Xms 是相等的,这就使得报告的数字不会随着堆实时增加。
  • JVM避免通过内存的自适应策略(-XX:-UseAdaptiveSizePolicy)动态改变内存池的大小。

重现不同

搞懂这个问题的第一步是深入这些工具的实现方式。一般通过标准API查看可用内存会像下面这样:

1
System.out.println("Runtime.getRuntime().maxMemory()="+Runtime.getRuntime().maxMemory());

的确,这好像是工具首先会被用到的方式。寻找答案的第一步是找出可复现的测试用例。为了这个目的,我写了下面这段代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
package eu.plumbr.test;
//imports skipped for brevity
 
public class HeapSizeDifferences {
 
  static Collection<Object> objects = new ArrayList<Object>();
  static long lastMaxMemory = 0;
 
  public static void main(String[] args) {
    try {
      List<String> inputArguments = ManagementFactory.getRuntimeMXBean().getInputArguments();
      System.out.println("Running with: " + inputArguments);
      while (true) {
        printMaxMemory();
        consumeSpace();
      }
    } catch (OutOfMemoryError e) {
      freeSpace();
      printMaxMemory();
    }
  }
 
  static void printMaxMemory() {
    long currentMaxMemory = Runtime.getRuntime().maxMemory();
    if (currentMaxMemory != lastMaxMemory) {
      lastMaxMemory = currentMaxMemory;
      System.out.format("Runtime.getRuntime().maxMemory(): %,dK.%n", currentMaxMemory / 1024);
    }
  }
 
  static void consumeSpace() {
    objects.add(new int[1_000_000]);
  }
 
  static void freeSpace() {
    objects.clear();
  }
}

这段代码通过在一个 new int[1000000] 的循环中分配内存块,检测当前在实时JVM中的可用内存。无论何时,只要最后知道的内存大小改变时,都会通过打印出 ofRuntime.getRuntime().maxMemory()__ 报告出来,类似于如下这样:

1
2
Running with: [-Xms2048M, -Xmx2048M]
Runtime.getRuntime().maxMemory(): 2,010,112K.

结果确实如此——有时甚至指定JVM有2G可用堆,但是运行着莫名其妙地发现其中的85M找不到了。你可以通过运用 2,010,112K 除以 1024 转化Runtime.getRuntime().maxMemory() 的输出到MB来复查我的计算。实际结果等于1963M,比起实际的 2048M 少了 85M。

寻求根本原因

重现这个现象之后,我做了如下的笔记——采用不同的GC算法运行似乎也产生不同的结果:

GC algorithm Runtime.getRuntime().maxMemory()
-XX:+UseSerialGC 2,027,264K
-XX:+UseParallelGC 2,010,112K
-XX:+UseConcMarkSweepGC 2,063,104K
-XX:+UseG1GC 2,097,152K

除了G1消费了我实际给的2G之外,任何其它GC算法似乎始终会半随机地丢失一部分内存。

现在是时候剖析一下JVM的源代码了,在CollectedHeap 的源代码中,我发现了下面这些:

1
2
3
4
5
//对java.lang.Runtime.maxMemory()的支持:
//返回虚拟机提供给“标准”java对象的最大内存。
//这个基于保留的地址空间,但是不应该包括虚拟机使用内部统计或临时存储的这部分空间。
//(例如:在青年代中,残留空间之一)
virtual size_t max_capacity() const = 0;

不得不承认答案隐藏得很深。但真相还是在好奇心的驱使下找到——事实上,某些情况下残留空间其中一些可能被排除在内存计算之外

从这里开始就一帆风顺了。打开GC日志发现,确实在设置2G内存时,Parallel和CMS算法都会在不同程度上,设置残留的空间是可变的。例如,以Parallel算法为例GC的日志演示如下所示:

1
2
3
4
5
6
7
8
9
10
Running with: [-Xms2g, -Xmx2g, -XX:+UseParallelGC, -XX:+PrintGCDetails]
Runtime.getRuntime().maxMemory(): 2,010,112K.
 
... rest of the GC log skipped for brevity ...
 
 PSYoungGen      total 611840K, used 524800K [0x0000000795580000, 0x00000007c0000000, 0x00000007c0000000)
  eden space 524800K, 100% used [0x0000000795580000,0x00000007b5600000,0x00000007b5600000)
  from space 87040K, 0% used [0x00000007bab00000,0x00000007bab00000,0x00000007c0000000)
  to   space 87040K, 0% used [0x00000007b5600000,0x00000007b5600000,0x00000007bab00000)
 ParOldGen       total 1398272K, used 1394966K [0x0000000740000000, 0x0000000795580000, 0x0000000795580000)

从上面你可以看到,Eden空间被设置为了524800K,残留空间都被设为了 87040K,Old空间大小为 1398272K。把Eden、Old和残留空间之一加在一起等于2010112K,确认丢失的 85 或 87040K 确实是保留的残留空间

总结

读完这篇文章后,相信你现在已经准备好以一种新的视角深入到Java API的实现细节。下次遇到可视化工具的总可用堆大小略低于Xmx规定的大小时,你就知道少的那部分等于你一个残留空间的大小。

不得不承认的一个事实是,在日常的编程中不是特别有用,但是这不是我写这篇文章的初衷。相反地,写这篇文章目的是为了强调我在优秀工程师身上看到的特质——好奇心。优秀的工程师总是想去知道,那些东西的工作方式并探究为什么它们会像那样工作。有时候答案藏匿地很深,但仍然建议你去试图寻求答案。最终,在这个过程中获取的知识,将会让你受益无穷。

为什么JVM指定-Xmx参数后占用内存会变少?的更多相关文章

  1. Linux的php-fpm优化心得-php-fpm进程占用内存大和不释放内存问题(转)

    原文地址:https://wzfou.com/php-fpm/ 最近发现博客的内存老是隔三差五地被“吃掉”了,登录到后台后偶尔会出卡顿的情况,一开始怀疑是Swap不够导致的,于是给VPS主机增加了几个 ...

  2. unity texture 占用内存大小对比

    打包多种类型的项目,空项目和10张放在Resources文件夹中的图为比较案例.以下是比较数据. IPHONE: 1.空项目----空间占用量42.3MB----IPA大小10MB 2.10张1200 ...

  3. Jmeter-调整占用内存解决内存溢出

    启动jmeter.从启动jmeter的输出就可以看到,Modify HEAP  “” in the  jmeter batch file -Xmx512m  -Xms512m -Xms是初始内存,-X ...

  4. JVM内存参数( -Xms -Xmx -Xmn -Xss 直接内存)

    JVM调优总结 -Xms -Xmx -Xmn -Xss jvm 内存 在不同的情况下如何增大 及 PermGen space 相关 JVM日志和参数的理解 JVM崩溃Log日志分析 -Xms 为jvm ...

  5. JVM参数配置及内存调优

    一.JVM常见参数配置 堆内存相关参数 参数名称 含义 默认值   -Xms 初始堆大小 物理内存的1/64(<1GB) 默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40% ...

  6. JVM常用启动参数+常用内存调试工具

    一.JVM常用启动参数 -Xms:设置堆的最小值. -Xmx:设置堆的最大值. -Xmn:设置新生代的大小. -Xss:设置每个线程的栈大小. -XX:NewSize:设置新生代的初始值. -XX:M ...

  7. Redis达到最大占用内存后的淘汰策略

    1. 查询Redis最大占用内存 # 查询最大占用内存 config get maxmemory # 为0时在64操作系统中不限制内存,在32位操作系统中最大为3GB 2. Redis设置最大占用内存 ...

  8. 为什么要指定HashMap的容量?HashMap指定容量初始化后,底层Hash数组已经被分配内存了吗?

    为什么要指定HashMap的容量? 首先创建HashMap时,指定容量比如1024后,并不是HashMap的size不是1024,而是0,插入多少元素,size就是多少: 然后如果不指定HashMap ...

  9. Android中一张图片加载后所占用内存大小的获取与测试

    Android程序中一旦加载的图片比较多,就有可能出现Out of Memory而导致程序崩溃.这个一方面是因为Android系统本身对于每个单独的进程有内存大小的限制(有16M,64M,128M,2 ...

随机推荐

  1. Linux下用gSOAP开发Web Service服务端和客户端程序(一)

    1.功能说明: 要开发的Web Service功能非常简单,就是一个add函数,将两个参数相加,返回其和. 2.C版本的程序: (1)头文件:SmsWBS.h,注释部分不可少,url部分的IP必须填写 ...

  2. Python学习杂记_12_函数(三)

    内置函数 Python有很多内置函数,以下这些是常用且必须要掌握的: 强制类型转换: bool() # 把一个对象转换成布尔类型 int() # 整形 float() # 小数 str() # 字符 ...

  3. Selenium2+python自动化10-登录案例【转载】

    前言 前面几篇都是讲一些基础的定位方法,没具体的案例,小伙伴看起来比较枯燥,有不少小伙伴给小编提建议以后多出一些具体的案例.本篇就是拿部落论坛作为测试项目,写一个简单的登录测试脚本. 在写登录脚本的时 ...

  4. 计蒜客 28315.Excellent Engineers-线段树(单点更新、区间最值) (Benelux Algorithm Programming Contest 2014 Final ACM-ICPC Asia Training League 暑假第一阶段第二场 E)

    先写这几道题,比赛的时候有事就只签了个到. 题目传送门 E. Excellent Engineers 传送门 这个题的意思就是如果一个人的r1,r2,r3中的某一个比已存在的人中的小,就把这个人添加到 ...

  5. AppScan入门工作原理详解

    AppScan,即 AppScan standard edition.其安装在 Windows 操作系统上,可以对网站等 Web 应用进行自动化的应用安全扫描和测试. Rational AppScan ...

  6. 数学【p2613】 【模板】有理数取余(费马小定理)

    题目描述 给出一个有理数 c=a/b ,求 c mod 19260817的值. 说明 对于所有数据, 0≤a,b≤10^10001 分析: 一看题 这么短 哇简单!况且19260817还是个素数!(美 ...

  7. 2.5多线程(Java学习笔记)生产者消费者模式

    一.什么是生产者消费者模式 生产者生产数据存放在缓冲区,消费者从缓冲区拿出数据处理. 可能大家会问这样有何好处? 1.解耦 由于有了缓冲区,生产者和消费者之间不直接依赖,耦合度降低,便于程序拓展和维护 ...

  8. Ubuntu 16.04使用timedatectl进行管理时间(UTC/CST)(服务器/桌面)

    说明:16.04开始,systemd接管了系统之后就不再使用/etc/default/rcS和ntpdate.dpkg-reconfigure tzdata进行时间的管理,所以在这些地方设置是无效的, ...

  9. 无法启动此程序,因为计算机中丢失 MSVCP120.dll。尝试安装该程序以解决此问题

    重装了下系统(Windows 7),发现先前装的一些软件大部分不能正确启动,更为奇怪的是,即使我重装了该软件,打开的软件界面的时候,报如下错误:“无法启动此程序,因为计算机中丢失 MSVCP120.d ...

  10. JAVA常见算法题(六)

    package com.xiaowu.demo; /** * 输入两个正整数m和n,求其最大公约数和最小公倍数. * * @author WQ * */ public class Demo6 { pu ...