数据和系统的损坏可能发生在存储路径的不同位置。问题可能发生在生成数据的系统、处理备份的应用程序、数据源和数据存储库之间的网络连接以及存储技术中。
数据存储测试的优势和挑战
数据存储测试的主要好处是确保数据与备份前完全相同。企业不应该浪费时间恢复损坏的数据文件或系统。不正确的数据可能会导致客户流失甚至诉讼;不正确的运输数据可能会导致供应链问题;故障系统还可能导致客户流失和声誉受损。
数据存储测试的主要挑战包括调度测试、寻找软件以提供最佳数据分析和验证、制定政策和程序、建立服务水平协议(包含存储测试),以及培训员工执行测试和验证。
通过第三方存储,例如云技术,检查供应商是否提供测试和验证服务。
数据存储测试类型
多个数据存储测试选项可提供有关主存储系统运行状况和运行状态的实时数据。对于Windows系统,chkdsk功能提供对驱动器健康扫描和修复的各种测试。接下来,尝试使用自我监控、分析和报告技术或SMART软件来检查存储驱动器的健康状况,并在问题发生前提供有关潜在问题的见解。
请检查系统BIOS的状态以确定潜在的驱动器问题。最后,评估来自主要存储供应商或第三方供应商的磁盘诊断工具。
在测试的备份方面,最简单的方法是切换到存储介质,找到指定用于备份的文件夹,找到刚刚备份的文件或应用程序并尝试访问它。如果文件显示在文件列表中,这是第一个好兆头。接下来,尝试打开文件或启动应用程序。创建文件或开发应用程序的用户可能需要执行这些类型的活动,因为他们会知道工作负载是否看起来不正确。
假设一切正常,文件验证的下一个测试是基准测试。请使用软件检查原始和备份项目,并比较它们以识别任何异常。
与供应商规范相比,应用程序测试会检查在线事务处理响应时间和批处理运行时间等指标。示例查询通常输入到备份的应用程序中,以分析接近生产环境中的响应时间。
使用脚本进行数据验证
基于编码语言的专业技能,可能可编写脚本来执行数据验证。该脚本指示系统将数据值和结构与先前定义的规则进行比较。这可以验证数据是否满足质量参数。
如果发生合规问题,故障排除可以识别以进行补救。这种验证方法可能很耗时,而这正是软件工具有用的地方。
使用软件进行数据验证
软件程序可用于推动数据验证过程。该软件基于用户创建的规则和文件结构,并在工作流中的每个点提供数据验证,突出显示异常以引起注意和采取修复措施。以下是数据验证软件供应商和产品的列表:
- RightData
- Xplenty
- iCEDQ
- Informatica
- QuerySurge
- Datagaps ETL Validator
- QualiDI
- Talend