高效办公,Python 自动化教你一键获取日志!

开发 后端 自动化
本篇文章介绍一款 Python 依赖库:pexpect,作为一款命令行自动化工具,它可以帮助我们一键获取日志,快速定位问题!

[[379781]]

 

本文转载自微信公众号「AirPython」,作者星安果。转载本文请联系AirPython公众号。

1. 前言

对大部分的人来说,解决 Bug 都是依靠关键字去日志去定位问题!

在调试情况下,我们可以实时在控制台查看日志;但对于部署到服务器上的应用,日志都存放在服务器某个目录下,没法通过本地查看到

这种情况下,就需要我们先登录服务器,然后进入到日志目录文件夹,最后通过日志文件去定位问题;如果涉及到 K8s 容器,可能还需要使用 kubectl 命令进入到服务对应的容器中,进入到日志目录,才能开始定位问题,这一切显得非常繁琐且低效

本篇文章介绍一款 Python 依赖库:pexpect,作为一款命令行自动化工具,它可以帮助我们一键获取日志,快速定位问题!

2. pexpect 介绍

pexpect 是 Python 语言实现的类 Expect 的一种实现,通过产生子应用程序并控制它们,通过期望模式对子应用程序的输出做出相应处理

项目地址:

https://github.com/pexpect/pexpect/tree/5eed1a31a2853a09b7367c59fbd1a4a0b53341df

它主要对人机对话进行模拟,来实现一些自动化的场景

比如:用来和 SSH、FTP、PASSWD、Telnet 等命令行程序进行自动化交互

在使用之前,我们先安装依赖包

  1. # 安装依赖库 
  2. pip3 install pexpect 

3. 实战一下

我们以从服务器 K8S 容器获取日志为例进行讲解

3-1 SSH 登录

首先,初始化使用 pexpect 模拟 SSH 远程登录服务器

  1. import pexpect 
  2.  
  3. PROMPT = ['# ''>>> ''> ''\$ '
  4.  
  5. def login_with_pexpect(): 
  6.     ""
  7.     登录-pexpect 
  8.     :return
  9.     ""
  10.     # 端口号 
  11.     port = ** 
  12.  
  13.     # 用户名 
  14.     user = ** 
  15.  
  16.     # 密码 
  17.     pwd = ** 
  18.  
  19.     # ip地址 
  20.     ip = ** 
  21.  
  22.     ssh_cmd = "ssh -p {} {}@{}".format(port,user,ip) 
  23.  
  24.     # 指定登录命令,拿到程序操作句柄 
  25.     child = pexpect.spawn(ssh_cmd, timeout=60, encoding='utf-8'
  26.  
  27.     # 提示输入密码的字符出现,否则超时 
  28.     ret = child.expect([pexpect.TIMEOUT, '[P|p]assword: '], timeout=10) 
  29.  
  30.     # 匹配成功后,输入密码,执行登陆操作 
  31.     if ret == 1: 
  32.         # 发送密码 
  33.         child.sendline(pwd) 
  34.         child.expect(PROMPT) 
  35.         return child 
  36.     else
  37.         print('登录失败!'

其中

pexpect.spawn() :用于执行一个程序,并返回一个操作句柄

该方法常见的 3 个参数如下:

  • 第一个参数是待执行的命令
  • 第二个参数指定超时时间,程序执行后的输出检查,如果指定时间内没有匹配到结果,就会抛异常
  • 第三个参数用于设置编码格式

child.expect() :对输出结果,利用正则表达式进行关键字匹配

代码中的含义是在 10s 内等待出现关键字 '[P|p]assword: '

最后,如果匹配的结果为 1,使用 sendline() 方法发送带回车符的字符串,模拟密码的输入,完成登录操作

3-2 封装发送命令

接下来,我们将操作句柄发送命令进行一次封装,并获取返回结果

  1. def send_command(child, cmd, expected_content=None, timeout=10): 
  2.     ""
  3.     发送一条命令,并打印结果 
  4.     :param expected_content: 
  5.     :param child: 
  6.     :param cmd: 
  7.     :return
  8.     ""
  9.     # 发送一条命令 
  10.     if expected_content is None: 
  11.         expected_content = ["#"
  12.  
  13.     child.sendline(cmd) 
  14.  
  15.     # 期望有命令行提示字符出现 
  16.     child.expect(expected_content, timeout=timeout) 
  17.  
  18.     # 将之前的内容都输出 
  19.     result = child.before 
  20.  
  21.     return result  

需要指出的是,child.before 用于获取到匹配到关键字为止,缓存里面已有的全部数据

3-3 进入容器 pod 日志目录

使用上面的方法,通过 kubectl 进入到对应的容器日志目录

  1. # 登录pod容器 
  2. exec_enter_pod = 'kubectl -n %s exec -it %s  bash' % (env, pod_name) 
  3.  
  4. # 进入容器 
  5. send_command(child, exec_enter_pod) 
  6.  
  7. # 进入到日志目录 
  8. send_command(child, "cd logs", expected_content='tomcat/logs#'

3-4 获取日志内容

最后我们只需要组成获取日志的命令

比如:使用 grep/tail 命令组成一个提取日志文件的命令

然后使用句柄对象发送这条命令

最后,对返回内容进行清洗即可

4. 最后

文中使用 pexpect 实现了一个非常简单的场景

事实上,大部分人机对话自动化交互都可以由它来实现,比如,下载日志、实时配置、远程打包下载等

 

责任编辑:武晓燕 来源: AirPython
相关推荐

2023-05-29 09:08:27

SQL日志数据

2020-11-05 12:56:19

Python办公自动化

2024-08-07 08:08:42

2015-03-09 11:10:14

运维

2021-07-09 07:24:47

Python自动化办公

2012-01-16 16:36:32

复合一体机常见问题

2024-05-23 11:33:42

python代码开发

2023-11-20 22:07:51

PythonPDF

2022-03-21 10:09:08

PythonExcel邮件

2022-07-05 08:26:10

Python报表自动化邮箱

2022-06-13 09:12:04

PythonPDF代码

2024-10-28 19:36:05

2020-04-21 10:45:47

PythonWordExcel

2013-12-09 18:12:02

华为PTN电力配网

2013-05-02 13:02:59

开发环境自动化团队

2024-09-24 17:20:16

Python自动化办公

2024-05-29 11:16:33

PythonExcel

2021-09-29 11:15:56

PyAutoGUIPython键鼠操作

2024-03-20 13:19:53

2022-08-04 13:27:35

Pythonopenpyxl
点赞
收藏

51CTO技术栈公众号