下面的文章主要介绍的是安全运维管理平台之精髓，你如果对安全运维管理平台之精髓有兴趣的话，不妨看看以下的文章。面对品牌与种类各异的安全设备与众多业务系统，海量数据如何做到全面采集与统一转换？
这个关键性的一步需要通过应用信息资源转换和海量异构数据集成技术来实现。
资产管理是信息安全风险管理的重要基础，它建立了统一的分析平台判断依据，从根本上解决了传统威胁事件管理的不足。针对系统服务平台应用特点，它将主机、网络、系统、安全、流量与应用系统健康度监控统一纳入到安全运维管理平台的工作内容中，并按照信息系统所属类型、业务信息所属类型、信息系统服务类型、业务系统依赖程度来定义不同的资产价值。
安全运维管理平台的运作基础是统一的信息安全库，它也是完整地收录各种系统资产信息建立关联分析与权责工单的分析基础。这种信息的采集不应只局限在安全设备层面，而应通过多种协议手段尽可能多地采集IT系统各个层面中的系统资源数据。
随着IT基础设施种类的增加、品牌的扩充，及信息安全技术的逐步发展，信息安全库的内容也日渐丰富，越来越复杂。面对品牌与种类各异的安全设备和众多业务系统，海量数据如何做到全面采集与统一转换？这个关键性的一步需要通过应用信息资源转换和海量异构数据集成技术来实现。
应用信息资源转换技术
实现应用信息资源转换首先要从不同品牌的IT基础设施中收集原始的日志全集(也称为原始信息安全库)，然后进行统一的转换和解析，并保存到安全运维管理平台统一的信息知识库中。不同品牌的IT基础设施输出原始信息安全库的方式各有不同，根据目前的研究，至少包括MIB库形式、XML格式文件、文本文件方式和数据库文件形式等。针对不同形式的原始信息安全库输出，信息资源转换技术和系统分别设计单独的模块进行资源转换，具体遵从如下步骤：
1. 针对每种原始信息安全库的输出，根据厂商提供的输出格式，信息资源转换技术和系统设计信息安全库识别模块从原始信息安全库读取所有内容;
2. 将读取后的内容按照安全运维管理平台规定的安全信息接口规范进行逐一转换;
3. 对转换后的内容按照安全事件的基本类型进行归类，再按照子类型进行细分;
4. 将归类后的内容存放在平台的统一信息安全库中。
海量异构数据集成技术
海量异构数据集成是数据采集过程中最为重要的技术。异构数据集成采用XML这种标准、开放的数据结构来表示数据信息。XML是一种半结构化的数据模型，它具备的诸多特性使其可以描述不规则的数据，集成来自不同数据源的数据，并可以将多个应用程序所生成的数据纳入同一个XML文件中。因此，将XML作为集成系统中集成层的数据描述工具和转换工具是海量异构数据集成技术和系统的必然选择。
海量异构数据集成技术和系统的实现路线如图所示。在此模型中，用户对信息的访问、操作并不是直接作用于数据源，而是通过访问虚拟数据库接口实现的。此结构分为三层：
(1)数据源层 ：负责提供包括以各种方式获取的系统数据。
(2)通信层：完成各类数据源与XML 数据模型的转换。将数据存储到集成模式空间中，并维持集成模式空间与异构数据源之间的映射。
(3)集成层：通信层统一格式的易于通信的数据借助于元数据字典，集成为统一视图。虚拟数据库的建立过程是针对所有数据源数据模式的抽取过程，它将各应用系统数据库中的不同数据表示成形式统一的数据视图。
上层(接口层)针对虚拟数据库进行，与具体应用数据库无关，因此能够将采用目前流行、成熟的软件构件方法开发的构件集成到任意一个应用系统中, 具有构件集成简单、与数据库联系紧密等特点。另外，集成存取处理模块可以用来实现对异构数据的存取、查询等功能。
通信层主要完成XML数据模型与数据源的双向转换。用XML描述集成数据，用XML 文档和格式文件DTD表示集成模式与数据源之间的映射。XML数据模型与数据库的转换主要体现在XML 的DTD 和数据库数据模型的相互转换上。从DTD 转换到数据库模型的原理如下:
1. 从DTD 生成一个关系模式，并在此基础上建立关系数据库;
2. 对DTD 中的每一个元素，产生关系数据库的一个表和一个主键列;
3. 对每一个有混合内容的元素，产生一个独立的表，用来存储PCDATA，并通过父表的主键与父表相连;
4. 对元素类型中的每一个单一值的属性，即对只具有PCDATA内容的按顺序出现的子元素产生一个单独列;
5. 对有多个值的属性和可以出现多次的PCDATA类子元素，需要创建一个单独的表来存储这些值，并通过父表的主键与父表相连;
6. 对每一个包含元素或混合内容的子元素来说，通过父表的主键把父元素与子元素连接起来。
从数据库模型到DTD的转换相对容易一些，分为三步: 对一个表，创建一个元素;对表中的每一列，创建一个属性或是一个只有PCDATA内容的子元素;根据表中的每一个主键/ 外键关系，创建该表元素的子元素。
XML 数据模型与数据之间的转换可以分为模板驱动和模型驱动两种形式:
基于模板驱动，只能应用于关系数据库与XML文档之间传递数据。它需要在一个模板中嵌入带参数的SQL命令，并用数据传输如中间件等实体软件进行处理;
基于模型驱动的转换是当把数据从数据库传送到XML 文档或把数据从XML文档传送到数据库时，用一个具体模型实现转换，而不仅仅依赖内嵌的SQL命令。关系数据库的理论依据是关系模型;面向对象的理论依据是对象模型;而XML的文档的依据是XML Schemas或DTD。
总体说来，通信层的专用接口模块是从各数据源的数据到一个XML数据模型的双向转换。
集成层为用户提供针对特定集成应用而设计的虚拟集成视图。虚拟集成视图是一个虚拟关系(或虚拟对象类)的集合。采用XML 作为集成系统的公共模型，用一个DTD描述集成层的一个虚拟对象类，一个元素对应虚拟对象类的一个属性，所有虚拟对象类的DTD组成集成系统的集成模式。根据不同用户的不同需求，可定义不同的XSL样式表，屏蔽部分对象或对象属性，改变对象显示形式，提供不同的用户视图。
海量异构数据集成技术实现了对各个数据源的集成存取，即将用户对集成视图的存取转换成对异构数据源的操作，具体有两种实现方法，即GAV(GlobaL As View)和LAV(Local As View)。GAV方法要求为集成视图中的每一个虚拟关系(或虚拟对象类)R写出一个查询，说明如何从信息源得到R 的元组(或对象)。
这种方法的特点是查询转换简单，但增加新数据源时比较繁琐。LAV 方法则相反，它要求为每一个数据源S 给出一个针对集成视图的查询，说明集成视图中的哪些元组(或对象)可在S中找到。它的优点是易于插入新数据源，但查询转换相对复杂。
海量异构数据集成技术和系统为集成模式中的每一个虚拟对象类创建一个能动态生成XML 文档的安全运维管理平台脚本文件，说明如何从信息源得到该虚拟对象类的对象，如何将源数据转换成集成数据。
当用户要访问集成数据时，系统按下列步骤进行查询转换: 1.根据用户提出的查询条件，生成一棵查询树;2.将诸如选择、投影操作等尽量推向叶节点，即数据源;3.将对各数据源的操作追加到相应的文本文件中;4.调用文本文件生成来自多数据源的包含用户所需数据的XML文档;5.选择合适的XSL，应用于所生成的XML 文档。
【编辑推荐】
