浅析nDPI中Hyperscan的集成方案

Labs 导读

Hyperscan是英特尔推出的一款高性能的正则表达式匹配库，非常适用于部署在诸如DPI/IPS/IDS解决方案中。nDPI 是目前应用较为广泛的开源DPI源码库，将nDPI源码进行二次开发部署到资源受限的路由器产品中时，其核心模块耗费了大量的内存。

Part 01、  nDPI框架简介 

图1 nDPI框架图

nDPI是由ntop负责维护的一款非常流行的开源DPI库，它同时支持Windows和Unix/Linux两种系统，支持跨平台体验^[1]。如图一框架图所示，nDPI库主要由网络数据采集模块、数据预处理模块、协议检测匹配模块及特征库相关模块组成。数据采集模块从网卡实时采集数据或解析已有的pcap文件；数据预处理模块负责对网络数据进行接收、数据分组及数据整型及过滤；其中协议检测匹配模块是nDPI最核心的模块，它根据现有的协议规则特征库对整型后的报文数据进行规则匹配。匹配算法的性能及匹配过程中对内存及CPU等硬件资源的消耗对整个系统至关重要。

Part 02、 nDPI中Hyperscan的集成  

图2 集成了hYperscan的DPI框架图

Hyperscan与nDPI的集成主要集中在以下两个方面：

• 字符串多模匹配

nDPI中一个重要的匹配过程是字符串的多模匹配。字符串的多模匹配可以快速过滤掉无法匹配的规则以减少需要逐条匹配的规则数，从而提升匹配的性能。nDPI中使用了Aho-Corasick算法进行多字符串的匹配，由于原生Aho-Corasick算法，需要将所有规则转化成Trie树结构，因此占用较大的内存。而Hyperscan拥有自身优化过的匹配引擎进行匹配，大量减少了匹配过程中对内存的消耗。我们用Hyperscan替代了这一算法，降低了内存消耗及CPU占用率，并且带来了显著的性能提升。

• Http预处理

除了引擎的匹配算法的集成，我们在预处理器模块中也添加了Hyperscan。在Http预处理时，利用了Hyperscan搜索相关关键字来进一步加速预处理的流程。

Part 03、  内存优化 

我们选取了MT7981B芯片+OpenWrt系统作为测试平台，采用了nDPI自带的协议规则库文件进行测试，同时以真实网卡采集到数据报文作为数据输入。如图三所示，原生nDPI内存消耗较大为56MB，而采用nDPI+Hyperscan的方案下，内存消耗降低为5.7MB，内存占用仅仅为原生nDPI的十分之一。

Part 04、  结论 

经过Hyperscan集成后的nDPI在内存消耗上远远低于原始nDPI。现有嵌入式网络设备产品中内存资源十分紧张，集成Hyperscan后的nDPI组件对内存资源的优化，有利于DPI及其相关产品在端侧嵌入式网络产品中的部署。