关于CentOS 6下Hadoop占用系统态CPU高的处理办法

运维 系统运维 Hadoop
一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。

一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。

RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf

而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。于是参考一些文章作了调整: 

  1. # for hadoop , disable thp 
  2. echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled 
  3. echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 

作用非常明显:

   

效果很明显,大概12:05分的时候操作的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。

除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。

原本 transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。

via : http://hi.baidu.com/higkoo/item/eb5e69c17c6b300a0ad93a00 

责任编辑:黄丹 来源: hi.baidu.com
相关推荐

2021-02-26 13:35:46

JavaCPU内存

2024-06-12 11:26:04

2017-02-16 19:39:29

Windows 10System进程CPU

2010-02-06 09:50:30

CentOS系统

2011-08-04 17:26:15

Windows7CPU占用率audiodg.exe

2010-08-27 09:02:22

IE6margin双倍

2019-12-16 09:10:38

Linux中央处理器进程

2019-12-16 11:00:04

LinuxCPU进程

2020-12-20 10:37:06

Windows10操作系统CPU

2020-04-21 10:00:00

Java服务器进程

2011-04-15 09:47:10

CentOSCPU

2010-04-06 09:22:23

CentOS系统

2009-09-03 09:08:08

Linuxroot密码遗忘

2019-09-24 09:00:22

RedisCPU内存

2010-04-02 10:13:43

CentOS系统

2020-04-02 19:16:03

Windows 10Windows操作系统

2011-04-06 11:36:31

CentOSMRTG安装

2009-10-16 16:11:04

6类布线系统

2019-03-07 09:25:59

LinuxCPU交换分区

2023-12-26 11:39:50

CPU系统进程
点赞
收藏

51CTO技术栈公众号