K8S容器环境下资源限制与jvm内存回收
一、k8s中的java资源限制与可能的问题
与以前单机跑单服务的情况相比,在k8s、docker容器化环境下的宿主机内存、cpu相对更大,所以当运行java类程序的时候,就必然有必要对容器进行内存限制,否则以java默认参数启动,一个程序就可能吃掉你四分之一的内存
但是怎么限制,就是一个值得考虑的问题了。
方案1:通过JVM的Xms和Xmx参数限制
java -Xms2048m -Xmx2048m -jar register.jar
在非容器化时,最常规的方案;在容器化中,也经常使用向容器传递环境变量的方式,通过控制这两个参数来控制服务的内存使用量
在网上通常的jvm调优方案中,也通常会要求把这两个参数设置为相等(可认为属于调优共识),来较小FGC的频率和提高性能
但是在容器化情况下(假设xmx=xms=4G),存在的问题是:
A 内存不释放问题:
- java容器运行后,会慢慢的用到设置的内存上限4G
- 由于还有其他的开销,一般会达到6G左右,并且不会释放
- 你会发现你宿主机或集群的内存,只升高不降低,除非你重启容器
B 参数设置多少的问题:
- 由于给它设置的内存,它总会用完,不好确定到底给它多少内存
- 给多了不够用,给少了GC频繁
- 有些人要说GC调优确定最合适内存,但这个因素不可控
所以这样,宿主机或集群的总内存,必须得大于你设置的所有容器的内存上限总和才保险
方案2:通过容器的requests和limits参数控制
docker容器和k8s都可以通过参数限制分配给容器的内存大小,同样假设分配了4G,问题会是
- 容器资源隔离的原因,容器中看到的内存大小=宿主机的内存大小
- 容器中的java服务,不知道自己被限制了内存,会按默认的1/4申请内存
- 由于对容器进行了内存限制,所以极大概率该容器运行一段时间后会被重启
方案3:容器参数和JVM参数共用
较可行的方案是两边的参数一起使用,只是要注意容器限制的内存要比jvm设置的大(1-2)G,因为前面说了JVM设置的4G,实际可能会用到6G。
但是共用也没有彻底解决第一个方案中的问题,即:
- 给java服务到底分配多少内存
- 申请的内存不释放,导致宿主机内存总量上限问题
- 多个地方设置内存参数,麻烦
二、解决问题三板斧
主要参考的三个博客
参考1:https://www.cnblogs.com/xiaoqi/p/container-jvm.html
参考2:https://www.imooc.com/article/292785?block_id=tuijian_wz
参考3:https://blog.csdn.net/qq_40378034/article/details/110677269
1)采用JDK8-191以上的jdk版本
由于jdk8-191以前的jdk版本,是不能感知到自己是在容器中运行的,所以对容器设置的资源限制,java程序不能感知,因此会按宿主机的总内存来申请资源
2)使用JVM新的资源限制参数且不相等
java -XX:MaxRAMPercentage=90.0 -XX:MinRAMPercentage=60.0 -jar register.jar
[MAX|MIN]RAMPercentage参数,是191版本后新增加的参数,该参数可以感知容器的资源限制,并以此限制为申请的最大最小资源量,即Xms和Xmx
由参考文章3中的结论:Xms和Xmx不相等时,在可能的情况下,GC过程会慢慢释放内存回操作系统,而我们 设置的[MAX|MIN]RAMPercentage这两个参数不等,达到的结果就是Xms和Xmx不相等
# 此命令可以在容器中验证,java服务按此规则申请时,会申请的内存大小
java -XX:+PrintFlagsFinal -XX:MaxRAMPercentage=90.0 -XX:MinRAMPercentage=60.0 -version | grep -Ei "heapsize|rampercentage"
3)配置容器的资源限制参数
在前两条的基础上,最后在配合容器的资源限制功能后,就能做到
- 限制容器的内存上限
- 容器内的jvm服务,能根据资源限制来申请内存
- 由于jvm会释放内存,所以可先设一个较大值,经过长期观察,可以确定该服务的常规内存水平
- 最终可以实现合理设置了容器、宿主机、java程序三者的内存的目的
转载自:https://www.cnblogs.com/noah-luo/p/14721172.html
K8S容器环境下资源限制与jvm内存回收的更多相关文章
- K8S(18)容器环境下资源限制与jvm内存回收
K8S(18)容器环境下资源限制与jvm内存回收 目录 K8S(18)容器环境下资源限制与jvm内存回收 一.k8s中的java资源限制与可能的问题 方案1:通过JVM的Xms和Xmx参数限制 方案2 ...
- 容器环境下如何将NuGet包XML文档添加到Swagger
容器环境下将NuGet包XML文档添加到Swagger 在.NET Core项目开发过程中,为了实现代码复用,我们将可以重复使用的部分拆分成一个个小的NuGet包.这些NuGet包可以在其他系统中复用 ...
- Docker容器环境下ASP.NET Core Web API应用程序的调试
本文主要介绍通过Visual Studio 2015 Tools for Docker – Preview插件,在Docker容器环境下,对ASP.NET Core Web API应用程序进行调试.在 ...
- Docker容器环境下ASP.NET Core Web API
Docker容器环境下ASP.NET Core Web API应用程序的调试 本文主要介绍通过Visual Studio 2015 Tools for Docker – Preview插件,在Dock ...
- [移动网关]2G环境下资源下载有一定概率失败,客户端日志显示收到403错误
2G环境下资源下载有一定概率失败,客户端日志显示收到403错误 问题现象: 测试同学在使用联通号码在移动网络环境下,访问连接得到的response_code出现是403,导致资源读取失败表情显示异常. ...
- Docker环境下Java应用的最大内存和堆内存的设置
Docker环境下Java应用的最大内存和堆内存的设置 1. 设置应用允许使用的最大内存 通过docker run(创建一个新的容器并运行)命令中设置-m来进行设置.案例如下所示. docker r ...
- JVM内存回收机制简述
JVM内存回收机制涉及的知识点太多了,了解越多越迷糊,汗一个,这里仅简单做个笔记,主要参考<深入理解Java虚拟机:JVM高级特性与最佳实践(第二版)> 目前java的jdk默认虚拟机为H ...
- JVM内存回收机制——哪些内存需要被回收(JVM学习系列2)
上一篇文章中讨论了Java内存运行时的各个区域,其中程序计数器.虚拟机栈.本地方法栈随线程生灭,且创建时需要多少内存,基本上在译期间就决定的了,所以在内存回收时无需特殊的关注.而堆和方法区则不同,首先 ...
- Java基础-JVM内存回收
Sun的JVMGenerationalCollecting(垃圾回收)原理是这样的:把对象分为年青代(Young).年老代(Tenured).持久代(Perm),对不同生命周期的对象使用不同的算法.( ...
- JVM内存回收机制
1. JVM内存回收机制简述 http://www.cnblogs.com/lzrabbit/p/3826738.html
随机推荐
- 在Golang中实现多态
目录 1.说明 2.多态 3.代码示例 4.总结 1.说明 和流行的面向对象语言不同,go 中没有面向对象的说法,也没有对应的封装.继承和多态,也许 go 的设计就不是和OOP对齐,想使用OOP,那就 ...
- vue下载本地文件 下载二进制流文件 兼容ie
vue-cli2要下载的静态文件放在static目录下,vue-cli3则放在public目录下 ie不支持 h5 的download写法,故用以下写法 <el-button type=&quo ...
- 如何快速获取AWR中涉及到的表
最近遇到一个很少见的需求,是关于应用测试方面的. 具体来说,这个应用的测试需求要基于一个固定的时间点数据,而且只能测试一轮,再测试就需要还原到测试前状态. 因为我们使用的存储是分层的(热数据在Flas ...
- NC16810 [NOIP1999]拦截导弹
题目链接 题目 题目描述 某国为了防御敌国的导弹袭击,发展出一种导弹拦截系统.但是这种导弹拦截系统有一个缺陷:虽然它的第一发炮弹能够到达任意的高度,但是以后每一发炮弹都不能高于前一发的高度.某天,雷达 ...
- Spring Boot图书管理系统项目实战-7.借阅图书
导航: pre: 6.图书管理 next:8.续借图书 只挑重点的讲,具体的请看项目源码. 1.项目源码 需要源码的朋友,请捐赠任意金额后留下邮箱发送:) 2.页面设计 2.1 bookBorrow ...
- Java并发编程实例--11.在线程组中处理未检查异常
第8个例子讲了如何在线程中捕捉未检查异常,本例将介绍如何在线程组中处理未检查异常. Task.java package com.dylan.thread.ch1.c11.task; import ja ...
- 谁说docker-compose不能水平扩展容器、服务多实例?
❝ 虽说我已经从docker-compose走上了docker swarm的邪门歪道,目前被迫走在k8s这条康庄大道, 但是我还是喜欢docker-compose简洁有效的部署方式. ❞ 曾其何时 d ...
- 分层架构设计模式总结-MVC,洋葱架构,整洁架构,六边形架构,DDD等等
一.单层结构不分层 最开始开发项目时,由于需求较少,用一个单独的工程文件就可以满足开发的需求了,不需要进行划分. 二.MVC 分层和三层 到后面需求越来越多,于是就把文件进行分解,怎么分解?有人提出了 ...
- CentOS 8安装RabbitMQ
第一步:安装yum仓库 导入签名KEY: ## primary RabbitMQ signing key ## 这一步如果因为网络问题下载不成功,可以先将签名文件下载下来,本地导入 rpm --imp ...
- 05、secs协议常见问题分析以及如何建立通信
1.建立通信 在主机和设备之间发送SECS-II消息之前,必须首先"建立"通信.这是通过S1F13(建立通信请求)消息来完成的.这应该是在初始启动后或在长时间不通信之后发送的第一个 ...