记一次生产数据库服务器hang机故障排查,值得借鉴

新闻 前端
最近准备对MySQL做优化,修改配置文件后MySQL无法正常启动,猜测是个别参数问题,不过后来发现服务器一直卡死,所以重启了下服务器,也就是这个重启服务器发现了一些很奇怪的现象。

概述

最近准备对MySQL做优化,修改配置文件后MySQL无法正常启动,猜测是个别参数问题,不过后来发现服务器一直卡死,所以重启了下服务器,也就是这个重启服务器发现了一些很奇怪的现象。

现象

在服务器重启后发现以下问题:执行一些基本命令会hang死。

记一次生产数据库服务器hang机故障排查,值得借鉴

而且发现MySQL进程无法kill掉

记一次生产数据库服务器hang机故障排查,值得借鉴

排查过程

1、查看磁盘、内存

可以发现磁盘、内存都正常

记一次生产数据库服务器hang机故障排查,值得借鉴

2、查看服务器整体情况

在用top命令的时候发现IO存在瓶颈,已经达到98%了

记一次生产数据库服务器hang机故障排查,值得借鉴

3、查看是否有异常用户操作

好吧,都是我的IP地址,那应该是MySQL的问题导致了。

记一次生产数据库服务器hang机故障排查,值得借鉴

4、计划用iotop进一步分析

本来想用iotop来分析具体是哪个进程影响的IO问题,但发现系统之前没装这工具..而目前IO满了,用yum又装不了这工具,只能选择最后一个办法了。

[[271750]]

5、重启大法

重启前发现之前的配置文件是有点问题的,写了两个[mysqld],修改回正确的配置文件,禁止MySQL开机自动启动,然后重启(注意只能手动重启)。

6、重启后

重启后手动重启MySQL正常。

记一次生产数据库服务器hang机故障排查,值得借鉴
记一次生产数据库服务器hang机故障排查,值得借鉴

问题应该是在这:我之前配置文件不小心写了两个[mysqld],也就是配置文件错误了,但是服务器重启了(MySQL进程是开机自动启动的),然后MySQL进程就处于这种僵死状态,导致磁盘IO一直是满的,改好配置文件后手动重启就可以了。

责任编辑:张燕妮 来源: 波波说运维
相关推荐

2018-12-06 16:25:39

数据库服务器线程池

2019-11-18 13:42:55

MySQL数据库迁移

2019-08-19 01:34:38

数据库SQL数据库优化

2019-11-22 08:05:01

数据库mysql分区

2019-12-12 10:38:10

mysql数据库nnodb

2018-07-18 15:37:24

数据库DB2故障处理

2022-06-01 06:17:42

微服务Kafka

2019-01-21 11:17:13

CPU优化定位

2021-01-12 07:57:36

MySQLBinlog故障处理

2019-12-27 10:43:48

磁盘数据库死锁

2019-09-27 17:24:26

数据库优化sql

2019-09-05 09:17:37

MySQL数据库线程

2019-09-08 17:52:10

数据库log file sy等待事件

2019-12-16 07:18:42

数据库SQL代码

2019-12-02 08:09:57

境数据库连接超时自动回收

2021-03-01 06:14:50

环境高并发延迟

2019-09-24 07:00:01

SQL Server服务器卡顿内存分配

2020-09-25 07:57:42

生产事故系统

2022-10-25 08:56:16

2020-11-03 07:34:12

Kafka后端工程师
点赞
收藏

51CTO技术栈公众号