因为内存溢出,我差点被优化

开发 前端
一般的,使用的工具有很多,MAT​(Memory Analyzer Tool) 这个工具是一个比较好用的分析内存的工具,还有 jmeter 这个压力测试工具,可对特定接口进行压测,分析tps、响应时间、CPU、内存等性能指标。

作为一个技术博主,了不起不是在创作就是在创作的路上(当然偶尔也会有点恰饭文~还指望大家多多支持),我们都知道,在写代码的过程中,业务逻辑很大程度上决定了你对业务的理解,但是解决问题,却是你提升比较关键的地方,而了不起,却差点因为这个内存溢出,把自己给干优化掉。

什么是内存溢出

百度百科是这么解释的:

内存溢出(Out Of Memory,简称OOM)是指应用系统中存在无法回收的内存或使用的内存过多,最终使得程序运行要用到的内存大于能提供的最大内存。此时程序就运行不了,系统会提示内存溢出,有时候会自动关闭软件,重启电脑或者软件后释放掉一部分内存又可以正常运行该软件,而由系统配置、数据流、用户代码等原因而导致的内存溢出错误,即使用户重新执行任务依然无法避免

其实很简单,在 Java 中,那就是 Out Of Memory,导致了不合理的 GC ,那么如何去定位这个内存溢出的呢?实际上如果是大公司,那么会有专业的运维人员去定位哪些程序导致了内存溢出,但是如果要是没有专业的运维人员,那么你自己就得学会怎么去定位这个内存溢出了。

如何定位内存溢出

一、定位占用CPU最高的服务 1、先找到cpu占用比较高的进程:top -c 进去后按Shift+P键

一般异常的进程cpu的占用会很高,记录下这进程的PID

2、查看指定进程cpu情况:top -cp PID

查看此进程占用cpu最高的线程,记录下线程的ppid也可以将相关信息保存下来:top -Hp PID -o %CPU -n 1 >cpu.txt到此,我们就找到的最占用cpu的进程以及相关线程。

3.如果你已经知道是你们的 Java 程序导致了内存溢出,那么我们就得学会分析日志,一般在 Out Of Memory 的上方,我们都会有各种日志的输出,来标志现在这个时间点,我们的程序执行了什么操作,导致了我们的这个内存溢出,分析到这里,就轮到看代码了。

检查的内容大致都有哪些地方呢?

在一个项目中,使用两个数据库连接,其中专用于发送短信的数据库连接使用 DBCP 连接池管理,用户为不将短信发出,有意将数据库连接用户名改错,使得日志中有许多数据库连接异常的日志,一段时间后,就出现 OutOfMemory 错误。经分析,这是由于 DBCP 连接池 BUG 引起的,数据库连接不上后,没有将连接释放,最终使得D BCP 报OutOfMemory 错误。

上面这是一个简单的例子,比如还有其他的,代码中是否有死循环或递归调用。是否有大循环重复产生新对象实体。检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。

检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。

比如我们这次内存溢出,就是因为一个很简答的导入功能,因为服务器给服务拆分的内存只有2G,而程序也没有专门的去处理,实施导入数据的时候,直接把100w的空数据从Excel中直接导入了,结果,直接导致了内存溢出。那么我们应该怎么去处理这个呢?

其实我们的比较简单,就是直接限定了文件的大小,因为Excel 虽然很大,但是有数据量的就那么几百行,100w行,都是空行数据,还都识别了,所以处理方式就那么几种,限制文件大小,限制读取数据的时候不读空行,因为毕竟内存大小是已经不允许我们做修改了,只能通过这个代码业务层面来处理这个了。

如何解决内存溢出呢?

内存溢出的解决方案:

第一步,修改JVM启动参数,直接增加内存。(-Xms,-Xmx参数一定不要忘记加。)

第二步,检查错误日志,查看OutOfMemory错误前是否有其它异常或错误。

第三步,对代码进行走查和分析,找出可能发生内存溢出的位置。

重点排查以下几点:

1.检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。

2.检查代码中是否有死循环或递归调用。

3.检查是否有大循环重复产生新对象实体。

4.检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。

第四步,使用内存查看工具动态查看内存使用情况

图片

一般的,使用的工具有很多,MAT(Memory Analyzer Tool) 这个工具是一个比较好用的分析内存的工具,还有 jmeter 这个压力测试工具,可对特定接口进行压测,分析tps、响应时间、CPU、内存等性能指标。

JConsole、JVisualVM jdk 自带可视化工具,可监控CPU、内存、线程等状况。

责任编辑:武晓燕 来源: Java技术指北
相关推荐

2023-03-27 07:39:07

内存溢出优化

2020-07-01 09:07:52

SQL索引语句

2021-01-30 10:58:29

React应用程序开发

2020-08-07 07:54:08

代码

2021-10-22 05:56:31

数据库锁表锁定机制

2021-06-07 10:20:31

2019-12-16 08:47:04

Redis设计算法

2020-03-12 07:55:50

访问量飙升DDoS

2020-07-13 08:40:48

同事代码

2009-06-15 09:47:12

Java程序内存溢出

2020-05-29 08:14:49

代码Try-Catch程序员

2020-11-18 09:56:46

Java开发代码

2021-07-05 22:09:53

面试官CollectionsJDK7

2024-03-11 08:22:40

Java内存泄漏

2013-08-02 10:06:36

Android内存溢出

2020-12-21 08:32:07

内存性能优化

2019-05-30 06:37:38

网络故障网络协议网络

2018-05-23 11:43:59

数据库

2024-09-09 09:41:03

内存溢出golang开发者

2022-12-08 09:34:26

开发操作
点赞
收藏

51CTO技术栈公众号