随着全球信息化技术飞速发展、大数据和智慧科技时代的到来,更多丰富多彩的大数据源如传感器、微处理器、视频及移动终端接入高速网络,所有的机械或电子设备都可以留下数据痕迹,这些痕迹表明了它的性能、位置或状态。这些设备和使用它的人,通过互联网互相交流,又形成了另外一个庞大的数据源。当这些数据和来自其他媒体、无线或有线电话、有线电视、卫星等等来源的数据相结合的时候,更加显得庞大无比。由此产生的数据及增长的速度将远远超越历史任何时期。伴随着大数据时代的来临,如何深入分析各种信息资源和视频资料,从海量原始数据中提取隐含的、未知的及有潜在应用价值的信息或数据,是公安领域非常关注的问题,掌握大数据来反哺一线实战,可以提高执法效率与快速反应能力、及时的预防与打击犯罪行为能力。
数据挖掘 ( Data Mining) , 也称数据库中的知识发现( KDD: Knowledge Discovery in Database) ,是指从大型数据库或数据仓库中提取人们感兴趣的知识,。这些知识是隐含的、事先未知而又潜在有用的, 提取的知识一般可表示为概念( Concepts) 、规则( Rules) 、规律( Regularities) 、模式( Patterns) 等形式。用数据库管理系统来存储数据, 用机器学习方法来分析数据, 挖掘大量数据背后的知识, 这两者的结合促成了数据挖掘技术的产生。数据挖掘是一门交叉性学科, 涉及机器学习、模式识别、归纳推理、统计学、数据库、数据可视化、高性能计算等多个领域。
当前在以“金盾工程”为载体的公安信息化、数字化建设中,公安部门积累了海量的以不同形式存贮的数据资料, 例如户籍资料、车辆资料和出入境管理资料等。此外, 公安工作所涉及到的数据类型是相当复杂的, 例如指纹, 其特征抽取相当复杂, 具备串并案和作案规律特点, 其数据联系是非平面的, 也是非标准立体的。而随着IT信息化与警用业务日趋紧密的结合,数据量在不断的增加。为了充分、有效的利用这些数据的价值,传统数据挖掘方法能够帮助公安发现数据规律,但它在处理的数据类型、数据量、及处理速度上都有限,难以支撑当前公安的诉求。
Gartner给出了这样的定义:“大数据”是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
华为FusionInsight Miner为公安提供一站式数据挖掘平台,支持数据分析全流程智能分析,实现“全量数据,关联分析”数据分析方法,帮助公安实现海量大数据智能挖掘,以发现一些隐含的、潜在的、有用的信息及事件之间的相互联系, 从而对未来的活动作进一步的预测, 实现快速、准确辅助警务决策, 从而提升警务信息化在打防管控、服务群众等方面的精度和效能。
华为FusionInsight Miner智能分析平台
• 端到端分析平台
一站式平台支撑数据分析全流程;
• 特征工程/社交化
特征复用;支持 1,000万维度;数据分析师共享知识和社交化协作分析;
• 建模算法
算法并行化效率(T+0);全球分布的数学家, 算法比MLlib快3~5倍;深度学习技术
• 开放性
支持PMML与SAS、SPSS等对接;支持SQL对Operator的扩展性;支持与R对接
• 业务驱动:
基于业务问题驱动的一站式甚至one-Click的闭环解决方案,比如推荐引擎以及其他使能套件
华为FusionInsight Miner通过机器学习自动分析案件犯罪人在作案时的数据特征,在新案件发生时找出具有类似数据特征的嫌疑人,大量缩小嫌疑人范围并大幅降低破案工作量,快速找出罪犯;同时新案件的侦破又反过来供机器学习,提升查找嫌疑人准确度。根据互联网行为、社会信息、公安数据刻画人物特征,构建人物关系网,发现社会团体,并对监控信息进行实时分析及时预警;用于应对重大突发事件安防(如上海踩踏事件),预警于案件萌芽时刻(如昆明火车站暴力恐怖案)。大规模并行计算极大提升了数据处理性能,实时流处理在数据产生时即计算分析,大幅提升信息获取的效率;在案件碰撞、情报分析等场景甚至避免了传统计算无法得出结果的困境,能够帮助公安在实战应用中实时决策、及时部署、快速响应。
智能警务信息化目前正处在高速发展阶段,更加关注的是海量数据的应用、挖掘、碰撞比对,以及各种技术的合成作战。华为FusionInsight Miner智能分析平台通过对数据挖掘出更多价值的信息,实现情报信息主导警务战略,全面提升信息化条件下公安机关维护国家安全和公共安全的能力。