Nginx日志分析:编写Shell脚本进行全面日志统计

网络
在实际生产环境中,对Nginx日志的分析有助于我们了解网站的访问情况,发现潜在问题并进行优化。本文将通过编写Shell脚本,实现对Nginx日志的全面统计分析。

Nginx是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器。无论是在大流量的网站还是小型的个人博客中,Nginx都得到了广泛应用。在实际生产环境中,对Nginx日志的分析有助于我们了解网站的访问情况,发现潜在问题并进行优化。本文将通过编写Shell脚本,实现对Nginx日志的全面统计分析。

Nginx日志格式

首先,我们需要确保Nginx日志格式与以下格式类似:

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';

假设我们的日志文件名为access.log。

Shell脚本实现

接下来,我们编写一个Shell脚本,对Nginx日志进行统计分析。这个脚本包括以下功能:

  • 统计各种状态码的数量
  • 统计访问最多的Referer
  • 统计访问最高的URI
  • 统计访问最多的IP和User-Agent
  • 统计每分钟的请求数、流量、请求时间、状态码等

脚本代码实现:

1.统计各种状态码的数量:

awk '
{
  Arry[$12] += 1;  
  total++;  
}
END {
  for (s in Arry) {
    printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s
  }
}
'$LOG_FILE | sort -nr -k 1,1

① Arry[$12] += 1;:

  • $12 是日志文件的第十二个字段,通常表示 HTTP 状态码。
  • Arry 是一个关联数组,以 HTTP 状态码为键,将每个状态码出现的次数累加到数组 Arry 中。
  • Arry[$12] += 1; 表示状态码 $12 出现的次数加 1。

② total++;:

  • 记录总的日志行数。

③ for (s in Arry):

  • 遍历数组 Arry 中的每个状态码 s。

④ printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s:

  • 打印每个状态码的出现次数、占比和状态码本身。
  • Arry[s] 是状态码 s 出现的次数。
  • Arry[s] / total 是该状态码出现的比例(占总请求数的百分比)。
  • s 是状态码。
  • 输出格式为:出现次数\t 比例\t 状态码。

运行上述的命令,输出如下结果:

统计各种状态码的数量

2.统计访问最多的Referer

awk -F\" '
    {
    Arry[$4] += 1;  # 将每个引用的字段($4)出现的次数累加到数组Arry中
    total++;        # 记录总的日志行数
    }
    END {
    for (s in Arry) {  # 遍历数组Arry中的每个引用字段
        printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s  # 打印每个引用字段的出现次数、占比和引用字段本身
    }
    }
    ' $LOG_FILE | sort -nr -k 1,1  # 按出现次数降序排序

执行上述命令后,输出如下图的结果:

统计访问最多的Referer

3.统计访问最高的URI

awk  '
    {
    Arry[$9] += 1;  # 将每个引用的字段($18)出现的次数累加到数组Arry中
    total++;        # 记录总的日志行数
    }
    END {
    for (s in Arry) {  # 遍历数组Arry中的每个引用字段
        printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s  # 打印每个引用字段的出现次数、占比和引用字段本身
    }
    }
    '$LOG_FILE | sort -nr -k 1  # 按出现次数降序排序

执行上述命令后,输出如下图的结果:

统计访问最高的URI

4.统计访问最多的IP和User-Agent

(1) 统计最多IP访问次数

awk '
    {
    Arry[$1] += 1;  # 将每个IP地址出现的次数累加到数组Arry中
    total++;        # 记录总的日志行数
    }
    END {
    for (s in Arry) {  # 遍历数组Arry中的每个IP地址
        printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s  # 打印每个IP地址的出现次数、占比和IP地址本身
    }
    }
    '$LOG_FILE | sort -nr -k 1,1

执行上述命令后,输出如下图的结果:

统计最多IP访问次数

(2) 统计最多访问的User-Agent

awk  '
    {
    Arry[$18] += 1;  # 将每个引用的字段($18)出现的次数累加到数组Arry中
    total++;        # 记录总的日志行数
    }
    END {
    for (s in Arry) {  # 遍历数组Arry中的每个引用字段
        printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s  # 打印每个引用字段的出现次数、占比和引用字段本身
    }
    }
    '$LOG_FILE | sort -nr -k 1  # 按出现次数降序排序

执行上述命令后,输出如下图的结果:

统计访问统计访问

5.统计每分钟的请求数、流量、请求时间、状态码等

awk -F '|''
  BEGIN {
    printf "时间\t数量\t流量[MB]\t请求时间\t20x\t30x\t40x\t50x\t60x\n"
  }
  {
    # 提取时间的分钟部分
    minute = substr($2, 12, 5)

    # 累计流量、请求数和请求时间
    tms[minute] += $13
    cnt[minute] += 1
    reqt[minute] += $15

    # 统计状态码
    status_code = $9
    if (status_code ~ /^2/) { sc20x[minute]++ }
    else if (status_code ~ /^3/) { sc30x[minute]++ }
    else if (status_code ~ /^4/) { sc40x[minute]++ }
    else if (status_code ~ /^5/) { sc50x[minute]++ }
    else { sc60x[minute]++ }
  }
  END {
    for (t in tms) {
      printf "%s\t%d\t%.4f\t%.4f\t%d\t%d\t%d\t%d\t%d\n",
             t,
             cnt[t],
             tms[t] / 1024 / 1024,
             (cnt[t] > 0 ? reqt[t] / cnt[t] : 0),
             sc20x[t],
             sc30x[t],
             sc40x[t],
             sc50x[t],
             sc60x[t]
    }
  }
  '"$LOG_FILE"

执行上述命令后,输出如下结果:

总结

通过上述Shell脚本,我们可以快速、全面地分析Nginx日志,了解网站的访问情况和性能表现。这不仅有助于我们发现潜在问题,还能为后续的优化工作提供有力的数据支持。在实际应用中,你可以根据自己的需求,进一步扩展和定制这个脚本。

脚本获取方式

上述脚本已经上传上传到gitee,有需要的小伙伴可以自行获取。gitee上的仓库主要是分享一些工作中常用的脚本。小伙伴可以frok或者watch仓库,这样有更新可以及时关注到。

脚本仓库

仓库地址:https://gitee.com/didiplus/script

责任编辑:赵宁宁 来源: 攻城狮成长日记
相关推荐

2020-02-21 10:45:06

运维架构技术

2021-08-02 07:50:42

脚本Shell日志

2018-01-16 10:11:11

Nginx访问日志

2012-04-26 14:02:58

ibmdw

2022-06-21 09:26:21

Shell脚本JavaScript

2023-11-28 18:03:01

SQLUDF

2020-04-01 15:11:36

Shell命令Linux

2014-08-08 16:17:49

shell脚本linux

2015-09-25 11:03:14

数据中心日志分析

2023-05-20 17:45:25

LinuxShell

2022-05-12 11:38:26

Java日志Slf4j

2013-10-31 16:17:45

日志分析Awstats实战Nginx

2013-10-31 11:08:15

2017-08-11 17:20:07

LinuxShell

2014-03-18 10:27:20

Nginx Httpc脚本

2017-02-14 08:36:56

2011-11-21 15:35:49

日志分析

2015-08-03 15:48:22

Linux日志

2022-04-10 16:47:22

ShellLinux

2019-01-17 09:24:59

Shell服务器日志
点赞
收藏

51CTO技术栈公众号