案发现场
客户现场反馈门户网站无法打开,有很多pod状态为Evicted
根据以往经验,驱逐问题让现场的实施同学查看监控,一般是磁盘或者内存会导致pod驱逐。客户的磁盘一直很充足,所以排除
如果内存占用达到90%之上,就拿着监控找客户扩容内存就好了
监控数据如下
节点内存为98G,故障时刻内存占用虽有上升,但是也在70%之下,看来此次问题并不如开始猜测的一样
那么kubectl describe pods web-nginx-xxx查看日志(或者查看集群events事件,操作系统messages日志也)
从日志上可以看出来是内存不足导致了驱逐,问题在于我们没有从监控上找到内存不足的证据。
破案
看来此次的问题和之前经验并不相同 驱逐说明
我们来思考pod驱逐的原因。K8S通过kubelet来配置pod的驱逐参数,我们检查下驱逐阈值
从上面的配置来看,K8S可用内存=总内存-(3G+800m+200m)
通过kubectl describe node 192.168.3.10查看节点分配的总内存
Allocatable下的内存表示可分配的资源
60G和98G差了接近40G的资源,那么离真相已经很近了
和现场同学确认,问题出现前由于内存占用很高,做过一次在线扩容。
故障复盘:故障原因为前期内存资源不足后,虚拟机采用在线扩容内存的方式,服务器没有重启,并且K8S的kubelet服务也没有重启,获取到的内存配置仍然是60G,所以当主机内存达到60G的时候出现pod由于内存不足产生驱逐。
至于监控,node-exporter可以动态获取主机物理资源,所以过于依赖监控却忽略了检查kubelet。
另外一个原因是之前扩容内存都是重启服务器,忽略了这种异常场景
最后客户重启kubelet服务后,获取到了新的配额,问题解决!