运维服务器比较头疼的一个问题是系统被黑，沦为肉鸡或者矿机。除了加强安全基线配置，加强网络和端口加固，系统和应用bug修复，上IDS/IPS(入侵检测/防御系统)之外，另一个方面就是系统监控，一个完善准确的安全监控可以在主机层面及时发现入侵活动、予以告警以备及时处理。本文虫虫就给大家来说说系统文件变化的监控。
概述
在*nix体系一切皆文件，系统文件的变化往往反应着系统的变化，比如系统应用的更新、系统的操作活动(可以用安全审计来确定)或系统被黑。根据虫虫多年来维护经验系统被黑最明显之一的特征就是系统文件变化，包括不限于：
- /bin (替换基本工具为恶意木马等，比如netstat，ps等)
- /sbin (替换基本工具为恶意木马等，比如sshd，lsof，ss等)
- /usr/bin(替换基本工具为恶意木马等，比如sshd，lsof，ss等)
- /usr/sbin (替换基本工具为恶意木马等，比如sshd，lsof，ss等)
- /etc/init.d (修改开机启动任务，添加恶意脚本开机启动)
- /etc/
- /etc/cront.d (修改计划任务，添加恶意脚本定时执行)
- /etc/crontab (修改计划任务，添加恶意脚本定时执行)
- ~/.ssh/目录 (注入公钥)
- /etc/sysconfig (修改iptables配置等，开放网络限制)
- /etc/ssh/ (修改ssh配置)
- web目录 (修改网站)
等目录下文件被替换或者添加非法文件。
加强对这些目录和文件的监控，就可以在一定程度上防止系统被黑，以及系统被黑，而无法发现的问题。
find –mtime目录文件变化
监控系统变化的最简单，最常用的方法是使用find命令，其-mtime表示最近有过变动的文件。
比如要查看一天内/usr/bin目录下变化过的文件可以使用
- find /usr/bin -m -1
要看详细这些文件详细信息，可以用xargs或者-exec把这些变化文件在用ls -al显示出来，比如：
- find /var -type f -mtime -1 -exec ls -al {} \;
RPM监控系统文件的变化
RPM是Linux一种应用包，利用RPM安装应用大家可能都熟悉。实际上RPM还是一个系统包数据库，并提供包验证功能，可以用来发现原始安装包变化情况。RPM应用包文件验证的基本命令是rpm -V。比如查询验证nginx包可以用rpm -V nginx：
该命令结果的前几位属性验证，.表示属性正常，其他标志表示属性有变化，如果文件被删除，则会提示"missing …"。具体属性的含义如下：
结果表示：nginx包中default.conf文件的大小，md5哈希值，文件修改时间都改变了。
注意：上图中中间位还有个字母c标志，该标表示文件的属性，c表示文件为配置文件。其他标志有：d %doc 说明文档;g %ghost 不应包含的文档，有可能有问题;l %license 授权文件;r %readme readme说明文件。
-V选项增加-a就可以列出当前系统中安装后，所有变化过的包文件，可以以此来检查文件包的完整性，安全性等。我们对结果使用grep进一步检查就得到具体的文件，比如要获取bin目录系统文件变化过的文件：
Inotify监控文件变化
另一个比较常用的方法是用Inotify来监控文件变化。Inotify是Linux内核自带(2.6.13)的系统事件监控机制。Inotify优点之一是基于内核事件通知机制，无需定时主动探测文件状态，简单可靠。另一个好处是有文件变化时通知时候，可以记录当时的用户和事件进程。基于Inotify的工具有inotify-tools、sersync和lsyncd等，我们此处简单介绍inotify-tools使用。
(1) inotify-tools安装
安装比较简单，以centos为例，先添加epel源，然后
- yum install inotify-tools
(2) inotify-tools使用
inotify-tools安装后会附带两个工具即inotifywait和inotifywatch。inotifywait工具用来添加文件或目录监控，支持对文件的一些操作事件，比如open、close、delete等，运行后系统处于阻塞状态。inotifywait的参数和对应事件列表如下图所示：
做为安全方面考虑，重点关注文件文件变化和创建时间，即modify和create事件。
inotifywatch工具用来查看所监视的文件发生事件的数据统计。
下面举一个实例来说明,我们用inotifywait来监控/var目录下文件的变化：
- inotifywait -mre modify /var
为了便于阅读，我们添加一些日志和时间格式参数：
- inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f' -e modify -e create /var
要统计系统内30秒内的变化数据，可以用inotifywatch：
- inotifywatch -v -t 30 -r /proc
inotifywatch 的使用此处不在详细介绍。
自建编写脚本进行文件Md5监控
还有一个方法就是对特定目录(比如Web目录)开始时候对其计算md5 哈希，以后定时计算md5然后比对，发现md5 哈希不一致了，说明文件已经被篡改了。对此，虫虫之前基于这个原理用Perl写了一个脚本MD5Check(github：/bollwarm/MD5Check)，可以直接用来使用或者做参考。
MD5Check安装很简单，有Perl的环境下(依赖Digest::MD5)直接下直接clone文件就可以使用，或者使用cpanm安装
- cpanm MD5Check
使用：
使用方法，执行 perl bin/init.pl web目录(自定义)，初始化MD5值。
然后使用perl bin/check.pl前一部保存的md5哈希的文件检查。
详细实例，见bin目录下的 init.pl 和 check.pl
cpanm安装后，可以直接用perl单行程序检查使用
初始化：
- perl -MMD5Check -e 'init("/web")' >file
检查：
- perl -MMD5Check -e 'print md5check(file)'
实例：我们举一个wordexpree网站为例子：
- perl init.pl /web >webmd5.20161027
检查：
- perl check.pl webmd5.20161027
总结
本文我们讲述了通过监控linux文件变化方式防止系统被黑。讲述了常见的几种监控linux系统下文件监控的方法：find、rpm，Inodify以及自编写脚本的方法。当然这些方法需要配合监控系统(比如zabbix)才能实现及时全面的系统，可以将其做为系统安全监控部分(其他部分包括进程监控、防火墙变化监控、流量变化)来配置和告警。关于这些部分，以后有机会再给大家介绍。
