记一次现网内存泄漏问题排查和分析

开发 开发工具
进入 APM 监控系统查看实例内存情况,把时间线拉长到一天,可以看到内存有缓慢上升趋势,初步怀疑有内存泄漏。

本文转载自微信公众号「爱笑的架构师」,作者雷小帅。转载本文请联系爱笑的架构师公众号。

大家好,我是雷小帅!大家春节过得咋样,反正我是挺崩溃的。本来给自己列了好多计划,最终的执行效果是这样的:

  • 写几篇技术文章
  • 看几本技术书籍

爽快玩了几天,走亲戚,看电影

哈哈,既然过年没好好学习,那只有熬夜赶作业了。

今天这篇文章带大家分析一个内存异常的问题,也算是新年的第一篇技术文章了,开工大吉~~~

我们有个新服务上线运行一段时间后,老是出现堆内存不足,大量出现 Full GC,有些实例甚至出现内存溢出错误:

java.lang.OutOfMemoryError: Java heap space

但是为什么会内存溢出呢?按说访问量也不是很高,于是进行了下面的排查和分析。

1、怀疑内存泄漏

进入 APM 监控系统查看实例内存情况,把时间线拉长到一天,可以看到内存有缓慢上升趋势,初步怀疑有内存泄漏。

2、Heap Dump

获取到机器ip,联系运维人员去机器上把堆dump下来,dump命令:

/xxx/jdk1.8.0_212/bin/jmap -dump:live,format=b,file=/xxx/xxx.hprof  进程号

将堆dump文件 Xxx.hprof 下载到本地。

3、下载Heap Dump分析工具

常用的分析工具有MAT和JProfile,本文以MAT工具为示例进行分析。工具下载链接如下:

​https://www.eclipse.org/mat/downloads.php​

注意:如果你本地安装的是JDK11+,下载最新的即可;如果你本地安装的是JDK8,建议下载1.9.2版本。

4、将Dump文件导入MAT工具

MAT是eclipse的一个插件,免安装,双击打开即可使用。

打开下载好的dump文件

5、分析Dump文件

打开内存泄漏怀疑分析报告,可以看到 SessionFactoryImpl 这个对象使用了 149M内存,占总内存的25%,这肯定不正常。

SessionFactoryImpl 这个类是跟数据库相关,服务代码中使用了JPA作为持久层框架,应该是跟JPA相关,继续往下分析。

我们打开内存树,往下挖,可以看到 QueryPlanCache 这个对象占用内存比较大。

QueryPlanCache 表面的意思是:查询计划缓存。用google查一下具体含义。

简单来说Hibernate会缓存sql语句以减少重复编译,便于直接命中提高效率。

在使用 SQL in 的时候,如果 in 后的参数不同,hibernate会把其当成不同的sql进行缓存,从而缓存大量的sql。

缓存的大小是多少?查了一下官方文档,如果不配置,这个缓存默认最大值为2048 。

Stack Overflow上也有用户反馈这个问题:

https://stackoverflow.com/questions/31557076/spring-hibernate-query-plan-cache-memory-usage

7、分析结论

drawio服务里面有大量的 sql in 语句,in 后面的参数不一样造成Hibernate缓存了大量SQL语句,占用大量的堆内存。

8、解决措施

(1)添加配置参数,限制缓存大小

参数解释:

https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

(2)提高 sql in 的缓存效率

参数解释:

https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

责任编辑:武晓燕 来源: 爱笑的架构师
相关推荐

2023-04-06 07:53:56

Redis连接问题K8s

2021-05-13 08:51:20

GC问题排查

2021-11-02 07:54:41

内存.NET 系统

2023-01-04 18:32:31

线上服务代码

2020-11-02 09:48:35

C++泄漏代码

2021-08-19 09:50:53

Java内存泄漏

2021-03-29 12:35:04

Kubernetes环境TCP

2021-11-23 21:21:07

线上排查服务

2019-02-20 09:29:44

Java内存邮件

2020-08-27 21:36:50

JVM内存泄漏

2022-09-13 17:46:19

STA模式内存

2017-12-19 14:00:16

数据库MySQL死锁排查

2019-03-15 16:20:45

MySQL死锁排查命令

2022-10-09 10:47:37

NET视觉软件

2023-04-26 12:48:58

.NET程序类型

2023-07-06 10:11:38

.NET模式dump

2019-09-10 10:31:10

JVM排查解决

2024-04-10 08:48:31

MySQLSQL语句

2022-01-10 09:31:17

Jetty异步处理seriesbaid

2021-04-13 08:54:28

dubbo线程池事故排查
点赞
收藏

51CTO技术栈公众号