企业日志分析之Linux系统message收集展示

系统 Linux 系统运维
之前写了收集Linux系统历史history命令,下面介绍一下系统里日志收集与展示的内容。老规矩,先看效果,满意的话继续看。

  [[153718]]

之前写了收集Linux系统历史history命令,下面介绍一下系统里日志收集与展示的内容。

  老规矩,先看效果,满意的话继续看。

  一、效果图

  1.总览

  2.linux系统日志收集数据总量

  主要是展示所选范围内容收集日志总量。

  3.linux系统日志收集主机数

 

  主要是展示当前总共有多少台主机上传了message日志数据。

  4.linux系统日志程序类型Top5

  主要是展示收集的日志信息里前5个程序名;我这5个都是docker服务器,所以docker日志有很多。

  5.linux系统日志时间数据总量图

  主要是展示每个时间段收集的数据量。

  6.linux系统日志数据

  主要是展示详细的日志数据。

  安装elk的过程可以参考上一篇,地址是http://os.51cto.com/art/201510/494137.htm。

  二、收集日志

  我收集的是系统/var/log/messages日志,然后通过rsyslog的tcp 8514端口发给logstash。

  1.配置rsyslog

  默认rsyslog都安装了,所以只需要修改配置。

  在/etc/rsyslog.conf里添加:  

  1. *.* @@localhost:8514 

  然后重启rsyslog。

  2.配置logstash

 

  1. [root@puppet tmp]# cat /etc/logstash/conf.d/logstash_agent.conf  
  2.   input {  
  3.   tcp {  
  4.   port => "8514"  
  5.   type => "syslog"  
  6.   }  
  7.   } 
  8.  
  9.   filter {  
  10.   if [type] == "syslog" {  
  11.   grok {  
  12.   match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" } 
  13.    }  
  14.   }  
  15.   } 
  16.  
  17.   output {  
  18.   redis {  
  19.   host => ["10.10.125.8:6379" 
  20.   data_type =>"list"  
  21.   key => "logstash:redis"  
  22.   }  
  23.   } 

  3.导入模板

  导入顺序:

  (1)Linux系统日志试图.json

  (2)Linux系统日志搜索.json

  (3)Linux系统日志Dashboard.json

  其他的有问题可以留言。

  本文出自 “吟—技术交流” 博客,请务必保留此出处http://dl528888.blog.51cto.com/2382721/1706204 。

责任编辑:火凤凰 来源: 51CTO博客
相关推荐

2015-10-19 09:47:39

history企业日志Linux

2020-09-02 08:03:28

NginxGrafana日志

2015-08-03 15:48:22

Linux日志

2018-11-26 08:40:43

2011-11-21 15:35:49

日志分析

2024-03-11 00:01:00

PromtailLoki服务器

2022-02-18 15:19:52

日志收集工具开源

2013-11-01 10:43:35

日志分析Awstats实战Apache

2013-03-20 17:18:07

Linux系统性能调优

2018-07-09 15:03:17

LinuxUnixSosreport

2023-07-07 06:53:56

远程软件日志向日葵

2009-04-09 16:59:39

Linux中科红旗移动平台

2011-11-21 17:20:02

DCOM错误日志

2009-09-04 11:00:29

2022-06-12 21:28:26

Fluentd开源

2022-05-11 10:58:11

MetricKitiOS13系统崩溃诊断

2015-07-06 13:56:03

综合布线布线技术

2015-07-31 10:57:01

安全日志windows安全日志安全日志分析

2021-02-08 19:55:51

物联网IoT智能运输

2018-03-09 09:15:16

Linuxsyslog-ng日志
点赞
收藏

51CTO技术栈公众号