本文档介绍了Nmap的系统结构及扫描流程,最后重点介绍了Nmap的NSE扫描脚本。
Nmap简介
Nmap也就是Network Mapper,是一款网络连接端扫描软件,用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端,并且推断计算机运行哪个操作系统。它是网络管理员比用的软件之一,以及用以评估网络系统保安,nmap的核心功能有:
主机发现:用于发现目标主机是否处于活动状态。Nmap提供多种检测机制,可以更有效地辩识主机。
端口扫描:用于扫描主机上端口状态。Nmap可以将端口识别为开放(Open)、关闭(Closed)、过滤(Filtered)、未过滤(Unfiltered)、开放|过滤(Open|Filtered)、关闭|过滤(Closed|Filtered)。默认情况下,Nmap会扫描1000个常用端口,可以覆盖大多数基本应用情况。
版本侦测:用于识别端口上运行的应用程序与应用版本。Nmap目前可以识别数千钟中应用的签名,检测数百种应用协议。而对于不识别的应用,Nmap默认会将应用的指纹打印出来,如果用于确知该应用程序,那么用户可以将信息提交到社区,为社区做贡献。
操作系统侦测:用于识别目标机的操作系统类型、版本编号及设备类型。Nmap目前提供了上千种操作系统或设备的指纹数据库,可以识别通用PC系统、路由器、交换机等设备类型。
防火墙/IDS规避:Nmap提供多种机制来规避防火墙、IDS的屏蔽和检查,便于秘密地探查目标机的状况。基本的规避方式包括:分片/IP诱骗/IP伪装/MAC伪装等等。
NSE脚本引擎:NSE是Nmap最强大最灵活的特性之一,可以用于增强主机发现、端口扫描、版本侦测、操作系统侦测等功能,还可以用来扩展高级的功能如web扫描、漏洞发现。漏洞利用等等。Nmap使用lua语言来作为NSE脚本语言,目前的Nmap脚本库已经支持400多个脚本。#p#
Nmap的工作流程
Nmap的执行流程简单清晰,主要分为三个阶段
准备阶段:在其中会执行参数解析、资源分配、基本扫描信息的输出、端口与地址列表的初始化、NSE环境准备及pre_scripts的运行等基本的准备操作。
工作阶段:然后进入主循环,每次循环对一组目标地址进行主机发现、端口扫描、服务与版本侦测、OS侦测及脚本扫描等操作,直到所有的目标地址都被扫描完毕才推出主循环
善后阶段:在完成所有扫描操作后,调用post-script完成相应处理,然后打印出扫描的最终结果,并释放掉分配的资源。
下图为Nmap的执行流程图
Nmap脚本引擎
Nmap提供了强大的脚本引擎(NSE),以支持Lua编程来扩展Nmap的功能。目前脚本库已经包含400多个常用的Lua脚本,辅助完成Nmap的主机发现、端口扫描、服务侦测、操作侦测四个基本功能,并补充了其他扫描能力:如执行HTTP服务详细信息的探测、暴力破解简单密码、检查常见的漏洞信息等等。如果用户需要对特定的应用做更深入的探究,可以按照NSE脚本格式便携Lua脚本来增强Nmap的扫描能力。
实现原理
NSE主要分为两大部分:内嵌Lua解释器与NSE library。
解释器:Nmap采用嵌入的Lua解释器来支持Lua脚本语言。Lua语言小巧简单而且扩展灵活自身的C/C++语言融合。
NSE library:为Lua脚本与Nmap提供了连接,负责完成基本初始化及提供脚本调度、并发执行、IO框架及异常处理,并提供了默认的实用的脚本程序。
脚本分类
NSE中提供的Lua脚本分别为不同的类别,根据官方网站,目前的有14中类别:
auth:负责处理鉴权证书(绕开鉴权)的脚本
broadcast:在局域网内探查更多服务开启状况,如dhcp/dns/sqlserver等服务。
brute:提供暴力破解方式,针对常见的应用如http/snmp等
default:这是使用-sC或A选项扫描时默认的脚本,提供基本扫描能力
discovery:对网络进行更多的信息,如SMB枚举、SNMP查询等
dos:用于进行拒绝服务攻击
exploit:利用已知的漏洞入侵系统
external:利用第三方的数据库或资源,例如whois解析
fuzzer:模糊测试的脚本,发送异常的包的目标机,探测出潜在漏洞
intrusive:入侵性的脚本,此类脚本可能引发对方的IDS/IPS的记录或屏蔽
malware:探测目标机是否感染了病毒、开启了后门等信息
safe:此类与instrusive相反,属于安全性脚本
version:负责增强服务与版本扫描功能的脚本
vuln:负责检查目标机是否有常见的漏洞,如是否有MS08_067
每种脚本不止属于一种类型的,具体属于哪种类型可进入官网查看 http://www.nmap.org
#p#
NSE扫描流程
Nse脚本扫描属于主循环流程下的一个部分,其代码流程图如下:
初始化流程
在命令行参数中指定脚本(–script/-sC)或指定-A选项或指定-sV选项,都会触发Nmap启动脚本引擎。其中-A选项表示全面扫描,会调用default类别的脚本扫描;而-sV选项表示应用与版本侦测,会调用Version类别的脚本,辅助侦测服务详细信息。
nmap_main()函数中,若判断需要启动脚本引擎,这首先需要调用open_nse()函数进行NSE环境的准备,首先要创建luaState(管理Lua解释器的执行的全局变量),然后调用init_main()函数进行详细的初始化过程。
进入init_main()函数,首先加载Lua标准版库与Nmap的扩展库,随后准备参数环境,然后加载并执行nse_main.lua文件。
nse_main.lua脚本为后续的脚本执行准备Lua环境,加载用户选择的需要调用的脚本(例如,用户–script discovery,那么会将该类别中所有的脚本加载进来),返回一个main()函数对象给init_main(),该main()是否后续脚本扫描需要的主函数,被保存在Lua的环境的注册表中。
在nse_main.lua中,定义两个核心的类,Script和Thread,Script用于管理NSE脚本,当新的脚本被加载时,调用Script.new创建脚本对象,该对象被保存下来在后续的扫描过程中使用;Thread用于管理脚本的执行,该类中也包含对脚本健全性的检查(sanitycheck,如是否包含Action函数,4.4会讲到)。在脚本执行时,如果脚本之间存在依赖关系,那么会将基础的无依赖的脚本统一执行完毕,再执行依赖性的脚本。
脚本扫描流程
执行脚本扫描时,从nmap_main()中调用script_scan()函数。
在进入script_scan()后,会标记扫描阶段类型,然后进入到初始化阶段返回的main()函数(来自nse_main.lua脚本中的main)中,在函数中解析具体的扫描类型。
main()函数负责处理三种类型的脚本扫描:预扫描(SCRIPT_PRE_SCAN)、脚本扫描(SCRIPT_SCAN)、后扫描(SCRIPT_POST_SCAN)。预扫描即在Nmap调用的最前面(没有进行主机发现、端口扫描等操作)执行的脚本扫描,通常该类扫描用于准备基本的信息,例如到第三服务器查询相关的DNS信息。而脚本扫描,是使用NSE脚本来扫描目标主机,这是最核心的扫描方式。后扫描,是整个扫描结束后,做一些善后处理的脚本,比如优化整理某些扫描。
在main()函数中核心操作由run函数负责。而run()函数的本身设计用于执行所有同一级别的脚本(根据依赖关系划分的级别),直到所有线程执行完毕才退出。
run()函数中实现三个队列:执行队列(Running Queue)、等待队列(Waiting Queue)、挂起队列(Pending Queue),并管理三个队列中线程的切换,直到全部队列为空或出错而退出。#p#
NSE脚本结构
NSE的使用Lua脚本,并且配置固定格式,以减轻用户编程负担,通常的一个脚本氛围几个部分:
Description 字段:描述脚本功能的字符串,使用双层方括号表示。
Comment 字段:以__开头的行,描述脚本输出格式
Author 字段:描述脚本作者
License 字段:描述脚本使用许可证,通常配置为Nmap相同的license
Categories 字段:描述脚本所属的类别,以对脚本的调用进行管理。
Rule 字段:描述脚本执行的规则,也就是确定触发脚本执行的条件。在Nmap中有四种类型的规则。
A.Prerule()用于在Nmap没有执行扫描之前触发脚本执行,这类脚本脚本并不需要用到任何Nmap扫描的结果;
B.Hostrule()用在Nmap执行完毕主机发现后触发的脚本,根据主机发现的结果来触发该类脚本
C.Postrule用于Nmap执行端口扫描或版本侦测时触发的脚本,例如检测到某个端口时触发某个脚本执行以完成更详细的侦查
D.Postrule用于Nmap执行完毕所有扫描后,通常用于扫描结果的数据提取和整理。
Action 字段:脚本执行的具体内容。当脚本通过rule字段检查被触发执行时,就会调用action字段定义的函数
下面以broadcast-db2-discover.nse脚本为例说明:
local nmap = require "nmap"
local stdnse = require "stdnse"
local string = require "string"
local table = require "table"
local target = require "target"
/*本脚本需要调用的库函数,可以在Nmap/nselib/文件下查看相关函数*/
description = [[
Attempts to discover DB2 servers on the network by sending abroadcast request to port 523/udp.
]]
/*description字段:发送一个广播包,试图在网络中发现DB2服务器*/
---
-- @usage
-- nmap --script db2-discover
--
-- @output
-- Pre-scan script results:
-- | broadcast-db2-discover:
-- | 10.0.200.132(UBU804-DB2E) - IBM DB2 v9.07.0
-- |_ 10.0.200.119(EDUSRV011) - IBM DB2 v9.07.0
-- Version 0.1
-- Created 07/10/2011 - v0.1 - created by Patrik Karlsson<patrik@cqure.net>
/*comment字段:描述了输入输出格式*/
author = "Patrik Karlsson"
/*author字段*/
license = "Same as Nmap--See http://nmap.org/book/man-legal.html"
/*license字段*/
categories = {"broadcast", "safe"}
/*categories字段:此脚本的分类类型,输入broadcast和safe两种*/
prerule = function() return true end
/*执行脚本规则的条件,预扫描阶段执行*/
--- Converts the prodrel server string to a version string
--
-- @param server_version string containing the product release
-- @return ver string containing the version information
/*解释下面函数的输入输出内容*/
local function parseVersion( server_version )
local pfx = string.sub(server_version,1,3) /*获取server_version字符串的第一到第三个字符*/
if pfx =="SQL" then
localmajor_version = string.sub(server_version,4,5) /*如果pfx字符串为SQL,则major_version获取server_version版本的第四到第五个字符*/
-- strip theleading 0 from the major version, for consistency with
--nmap-service-probes results
ifstring.sub(major_version,1,1) == "0" then
major_version= string.sub(major_version,2) /*若major_version字符串首字母为0,则去除*/
end
localminor_version = string.sub(server_version,6,7) /*minor_version获取server_version字符串的第6到第7个字符*/
local hotfix =string.sub(server_version,8) /*hotfix获取server_version字符串的第8个字符*/
server_version =major_version .. "." .. minor_version .. "." .. hotfix /*给server_version字符串附值*/
else
return"Unknown version"
end
return ("IBM DB2v%s"):format(server_version) /*函数返回值*/
end
action = function() /*脚本执行函数*/
local DB2GETADDR ="DB2GETADDRSQL09010"
local socket =nmap.new_socket("udp")
local result = {}
local host, port ="255.255.255.255", 523
/*定义字符类型,并附初始值*/
socket:set_timeout(5000) /*若超过5s,数据发送不出去,则发送失败*/
local status =socket:sendto( host, port, DB2GETADDR ) /*调用socket:sendto函数,可以在nselib/nmap.nsedoc文档下查看其返回值,此处是发送一个广播包,到523端口*/
if ( not(status) ) thenreturn end /*若发送失败,则终止操作*/
while(true) do
local data
status, data =socket:receive()
if( not(status) )then break end /*若返回信息错误,则终止操作*/
local version,srvname = data:match("DB2RETADDR.(SQL%d+).(.-)") /*根据返回的信息,提取version和srvname字段*/
local _, ip
status, _, _, ip,_ = socket:get_info()
if ( not(status)) then return end /*若远程套接字接口返回信息错误,则终止操作*/
iftarget.ALLOW_NEW_TARGETS then target.add(ip) end /*若target.ALLOW_NEW_TARGETS函数为真,则在Nmap扫描队列中添加此IP*/
if ( status )then
table.insert(result, ("%s - Host: %s; Version: %s"):format(ip, srvname,parseVersion( version ) ) ) /*在result数组中插入相关信息*/
end
end
socket:close()
returnstdnse.format_output( true, result ) /*输出扫描结果*/
end