Nginx 解决error.log和access.log日志的改善总结

开发 架构
自从了解了error和access日志的重要性,并且学会阅读相关log文档之后。通过调整nginx配置,解决error中的大量报错提示。通过过滤js等静态资源减少大量的access日志记录内容。同时,经过使用阿里云安全组封禁大量国外ip地址的访问。我的access.log文件和error.log的尺寸得到了有效压缩管理。

1. 介绍

自从了解了error和access日志的重要性,并且学会阅读相关log文档之后。

通过调整nginx配置,解决error中的大量报错提示。通过过滤js等静态资源减少大量的access日志记录内容。

同时,经过使用阿里云安全组封禁大量国外ip地址的访问。我的access.log文件和error.log的尺寸得到了有效压缩管理。

access.log 从原先的12m左右的的文件,变成了现在的400KB。记录的访问数据也清晰了很多。

error.log也从原先的8M左右的文件,变成了现在的1KB,或者300Bytes的文件。甚至有时候还是0 Bytes。

日志文件的减少,也降低了服务器的IO读取的性能开支。可以将更多的内存资源用于处理正常的请求。

可以说是一个双赢的结局。

本篇作为一个回顾总结内容。具体的error文件内容配置可以参考:https://zinyan.com/?p=450 ,https://zinyan.com/?p=453。access.log的文件配置可以参考:https://zinyan.com/?p=445,https://zinyan.com/?p=444,以及爬虫屏蔽过滤返回444:https://zinyan.com/?p=454

2. 总结

现在error文件中,剩下的记录主要就是SSL: error:141CF06C:SSL routines:tls_parse_ctos_key_share:bad key share异常了。

处理这个异常,可以通过封禁ip地址的访问,也可以不用在意。

剩下的就是access.log文件了。

当我们配置UserAgent​请求中带有爬虫关键字的请求直接返回444之后,例如:

Status:444,Bytes:0,IP:185.117.225.171,Time:[2022-11-24T04:18:36+08:00],Host:"zinyan.com",Request:"GET /robots.txt HTTP/1.1",Referer:"-",UserAgent:"python-requests/2.28.1"
Status:444,Bytes:0,IP:51.77.247.119,Time:[2022-11-24T04:57:39+08:00],Host:"47.101.47.241",Request:"POST /phpinfo HTTP/1.1",Referer:"-",UserAgent:"curl/7.64.0"

对比不同日期的access.log 可以发现,爬虫请的数量在不断变少。

因为当爬虫多次请求得到结果是444后,会渐渐降低我们网站的爬取级别,最终犹豫得不到数据而放弃爬取。

但是,也会有一些新增加的爬虫需要我们注意,并添加到过滤条件中。

而且也有一些过滤无法生效的情况,需要我们随时进行一些配置的修改例如:

Status:404,Bytes:177,IP:18.195.96.149,Time:[2022-11-24T04:58:10+08:00],Host:"zinyan.com",Request:"GET /s/.git/HEAD HTTP/1.1",Referer:"-",UserAgent:"RepoLookoutBot/1.0.0 (abuse reports to abuse@repo-lookout.org)"Status:404,Bytes:186,IP:18.195.96.149,Time:[2022-11-24T04:58:42+08:00],Host:"zinyan.com",Request:"GET /categories/.git/HEAD HTTP/1.1",Referer:"-",UserAgent:"RepoLookoutBot/1.0.0 (abuse reports to abuse@repo-lookout.org)"

我们需要新增:RepoLookoutBot 爬虫工具的过滤。还有通过CensysInspect 工具:

Status:400,Bytes:248,IP:167.248.133.62,Time:[2022-11-24T07:17:24+08:00],Host:"47.101.47.241:443",Request:"GET / HTTP/1.1",Referer:"-",UserAgent:"Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)"

同时在屏蔽过程中出现了有些能够屏蔽而有些无法屏蔽的问题:

Status:444,Bytes:0,IP:167.248.133.62,Time:[2022-11-24T07:17:20+08:00],Host:"47.101.47.241:443",Request:"GET / HTTP/1.1",Referer:"-",UserAgent:"-"
Status:400,Bytes:248,IP:167.248.133.62,Time:[2022-11-24T07:17:23+08:00],Host:"47.101.47.241:443",Request:"GET / HTTP/1.1",Referer:"-",UserAgent:"-"

两种访问从access.log中看到,可以说完全一样。但是却一个返回444,一个返回400 。返回444说明我的nginx过滤规则生效了。而400说明没有生效。

同时,还需要添加上Host为空的访问,将它们进行过滤,例如:

Status:400,Bytes:150,IP:167.248.133.62,Time:[2022-11-24T07:17:24+08:00],Host:"-",Request:"PRI * HTTP/2.0",Referer:"-",UserAgent:"-"

同时,我们也可以检查静态资源是否全部都过滤的情况,例如我的资源用到了jfif,webp文件。我就需要添加到过滤规则中去。

PS:可能存在部分的过滤失败,但是整体上来说。提高了网站的安全性,降低了大量的非法请求。

在收获上来说,这一些配置的付出是值得的。

3. 改进 nginx过滤规则

基于发现的问题,再次改进access的过滤规则。以及非法请求返回444的判断逻辑。

3.1 修改access_log 记录

在/etc/nginx/nginx.conf文件中修改如下:

http {
...
log_format main 'Status:$status,Bytes:$body_bytes_sent,IP:$remote_addr,Time:[$time_iso8601],Host:"$http_host",Request:"$request",Referer:"$http_referer",UserAgent:"$http_user_agent"';
map $uri $zinyanloggable {
default 1;
~^(.*\.(ico|gif|jpg|jpeg|png|bmp|swf|js|css|svg|woff|ttf|jfif|webp)$) 0;
}
access_log /var/log/nginx/access.log main if=$zinyanloggable;
...
}

这样,access文件中就不会添加ico|gif|jpg|jpeg|png|bmp|swf|js|css|svg|woff|ttf|jfif|webp 作为后缀结尾的日志内容了。

3.2 map实现爬虫屏蔽

老版本写法为:

server{
...
if ($http_user_agent ~ ^$){
return 444;
}
if ($http_user_agent ~* "scrapy|python|curl|java|wget|httpclient|okhttp|MJ12bot|Expanse|ahrefsbot|seznambot|serpstatbot|sindresorhus|zgrab"){
return 444;
}
...
}

效率比较低,如果是多个server那么得写多遍。所以修改为map的规则进行

但是如果改为map的话,需要在http{}之中先创建map规则,然后再到server中使用就可以了。示例如下:

http {
...
# 创建一个屏蔽规则zinyanUA,而它的取值从$http_user_agent 中获取。
map $http_user_agent $zinyanUA {
default 0;
~*(scrapy|python|curl|java|wget|httpclient|okhttp|MJ12bot|Expanse|ahrefsbot|seznambot|serpstatbot|sindresorhus|zgrab|censys|RepoLookoutBot) 1;
~ ^$ 1;
}
...
}

语法解释:

  • ~ 表示正则表达式对大小写敏感。
  • ~* 表示正则表达式对大小写不敏感。
  • 后面跟着的内容就是正则表达式了
  • 在正则表达式中^​代表开头,$​代表结尾,^$就代表开头和结尾中间没有字符。也就是字符串为空的。

配置完毕后,在需要的server{}段中添加:

server{
...
if ($zinyanUA){
return 444;
}
...
}

因为在nginx 的if判断中,参数值0或者为空字符串,会判断为false,其他判断为true。

而我在上面创建的map对象中,规范了,如果匹配就返回1,不匹配返回0。所以if ($zinyanUA)​为true的就是需要返回444的请求了。

nginx: [emerg] unknown directive "if($http_host)" in /etc/nginx/conf.d/zinyan.conf:49nginx: configuration file /etc/nginx/nginx.conf test failed

如果你出现了这个if命名错误的提示,并不是所谓的缺乏if命名的依赖库,而是Nginx中的if命名和括号中间需要有空格。

nginx -t​ 检测通过后,通过service nginx reload刷新配置就可以生效了。

PS:如果实在过滤不了的,建议直接封IP地址,特别是国外的访问。国内也有不少的攻击

责任编辑:武晓燕 来源: Zinyan
相关推荐

2019-07-28 18:30:52

MySQL日志数据库

2009-12-04 13:14:15

PHP error_l

2020-08-20 12:10:42

MySQL日志数据库

2024-05-30 08:03:17

2010-09-01 16:17:40

SQL删除日志

2017-06-13 15:10:02

大数据Log日志

2023-11-23 13:17:39

MySQL​数据库

2017-06-13 08:55:29

Log日志MySQL

2011-01-18 11:15:19

LinuxLOG

2017-12-21 10:52:52

nginx日志还原

2024-06-11 00:00:02

MySQL数据库系统

2021-01-26 13:47:08

MySQL存储数据

2024-05-28 00:10:00

JavaMySQL数据库

2013-05-21 10:58:43

Log4jActiveMQSpring

2009-06-12 17:03:51

JBoss和log4j

2020-01-07 10:06:26

Slf4jLog4JLogback

2013-09-11 09:36:02

VMwareLog Insight

2023-01-09 08:01:48

MySQL日志中继

2017-06-27 10:21:12

vRealize LoNSX日志管理

2023-05-29 08:01:15

重启二进制日志
点赞
收藏

51CTO技术栈公众号