将企业数据转化为有意义的和可操作信息的能力,是企业在当今商业世界中获得竞争优势的***最重要的来源。通过控制数据爆炸来更好地了解过去并获得未来的发展方向,已成为全球范围内企业的信息技术部门所面临的最富挑战性的风险之一。与数据集成相关的问题可划分为三个大类:
◆技术挑战
◆组织问题
◆经济挑战
在本文中,我们将详细探讨这些挑战并讨论如何使用 Microsoft® SQL Server™ 2008 Integration Services (SSIS) 解决它们。首先,让我们先看一个真实世界案例中存在的这些挑战。
真实世界案例
一家大型的全球型运输公司利用其数据仓库来分析运营绩效和预测其计划交货中存在的差异。
数据源
这家公司的主要数据来源包括基于 DB2 的订单输入系统的订单数据,基于 SQL Server 的客户关系管理(CRM)系统的客户资料,以及基于 Oracle 的 ERP 系统的供应商数据。除了来自这些主要系统的数据以外,也有从跟踪“特别”事件的电子表格合并到数据仓库中的数据,这些数据由发货管理员手动输入。目前,该公司在合并各种来源的文本文件(如天气信息、交通状况和供应商详细资料(针对转包交付)等外部数据)时存在延迟。
数据使用
不仅这些数据的来源多种多样,消费者的需求和他们的地理位置也多种多样。这种多样性导致了本地系统的扩张。信息技术部门的主要工作之一就是,至少要为客户资料建立一个“真实的单一版本”。
数据集成要求
鉴于数据、业务需求和用户需求的多样性,信息技术部门已指定了以下一组数据集成要求:
◆他们提供的从各种内部和外部来源合并的历史数据和当前数据必须可靠且一致。
◆为减少数据采集的滞后问题,来自提供者和供应商的数据必须能够通过 Web 服务或一些其他直接机制(如 FTP)获取 。
◆他们需要清理及删除重复的数据以确保数据质量。
【编辑推荐】