Linux服务器高I/O等待延迟问题查找

系统 Linux
最近负责调查某一个服务器卡顿的问题,记录一下自己调查过程中学到的东西。Linux服务器高I/O等待延迟问题查找……

[[118340]]

0. 首先是top查看一下系统状况

发现两个参数异常,一是平均负载高,一是cpu %wa一直在50%以上。

查了一下%wa参数的意义:

  1. wa -- iowait  
  2.  Amount of time the CPU has been waiting for I/O to complete. 

1. 查看磁盘读写数据

用iostat 查看磁盘状况

 

  1. $ iostat -x 2 5  
  2.  avg-cpu: %user %nice %system %iowait %steal %idle  
  3.   3.66 0.00 47.64 48.69 0.00 0.00  
  4.  
  5.  Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util  
  6.  sda 44.50 39.27 117.28 29.32 11220.94 13126.70 332.17 65.77 462.79 9.80 2274.71 7.60 111.41  
  7.  dm-0 0.00 0.00 83.25 9.95 10515.18 4295.29 317.84 57.01 648.54 16.73 5935.79 11.48 107.02  
  8.  dm-1 0.00 0.00 57.07 40.84 228.27 163.35 8.00 93.84 979.61 13.94 2329.08 10.93 107.02 

2.查看进程状态

 

进程状态表

 

  1. PROCESS STATE CODES  
  2.  D uninterruptible sleep (usually IO)  
  3.  R running or runnable (on run queue)  
  4.  S interruptible sleep (waiting for an event to complete)  
  5.  T stopped, either by a job control signal or because it is being traced.  
  6.  W paging (not valid since the 2.6.xx kernel)  
  7.  X dead (should never be seen)  
  8.  Z defunct ("zombie") process, terminated but not reaped by its parent. 

查看到进程中状态D(disk sleep)的进程

 

 

  1. # for x in `seq 1 1 10`; do ps -eo state,pid,cmd | grep "^D"; echo "----"; sleep 5; done 

查看到有kjournald这个进程

 

查看这个进程是做什么的?

kjournald是ext3文件系统记录文件系统日志的进程。

查看进程相关状态信息

 

  1. # cat /proc/487/io  
  2.  rchar: 48752567  
  3.  wchar: 549961789  
  4.  syscr: 5967  
  5.  syscw: 67138  
  6.  read_bytes: 49020928  
  7.  write_bytes: 549961728  
  8.  cancelled_write_bytes: 0 

查看都往哪写东西了

  1. # lsof -p 487 

引起kjournald 状态D的原因还在查。。。。

原文链接:http://my.oschina.net/u/566401/blog/303364

责任编辑:牛小雨 来源: 董桉远的博客
相关推荐

2015-02-09 16:01:18

服务器

2009-10-10 10:10:29

服务器IO

2009-09-29 09:50:46

2009-02-16 09:47:15

刀片服务器虚拟化

2011-10-17 10:01:18

IBMPower服务器

2023-09-04 15:58:34

服务器数据中心

2009-03-12 09:18:45

固态硬盘Sun

2013-05-14 09:31:06

IBM闪存服务器

2009-02-05 19:01:00

PowerEdgeXsigo Syste

2010-04-23 13:33:44

服务器IO瓶颈

2017-03-25 21:33:33

Linux调度器

2014-07-28 16:47:41

linux性能

2009-09-02 17:36:12

邮件服务器

2020-10-16 16:40:26

Linux高并发命令

2009-10-10 15:50:25

2011-08-08 10:29:26

2017-02-09 09:00:14

Linux IO调度器

2019-12-02 09:45:45

Linux IO系统

2011-01-14 09:25:28

LinuxIO机制

2017-09-01 12:26:18

Linux调度器系统
点赞
收藏

51CTO技术栈公众号