在所有IT技术中,存储技术几乎是最被人们忽视或不被重视的。很多企业的存储设备管理的工作通常交给运营团队的初级成员实施。与应用程序和网络等领域相比,存储专业人士很少有行业认证。存储专业人员在晋升方面往往被忽视,在许多情况下,存储专业人员没有可行的职业阶梯。
存储设备在IT资源管理中也被忽视。很多数据中心通常并没有充分地利用存储空间,却使其所能容纳的数据不超过20%。在其他情况下,存储设备也被忽略。没有人需要检查未使用的存储空间在哪里。与之相反,他们应对存储空间不足的方法只是购买更多存储设备。
其教训也很明显:企业如果希望改善数据中心的成本支出情况,则需要实施存储和其他资源的最佳管理实践。
以下是企业的首席信息官和数据中心管理人员可以采取的六个优化大数据存储的步骤。
1.检查大数据分层阶段战略
大多数数据中心管理人员都承认,他们存储的数据比想要的要多得多。主要原因是担心丢弃可能对将来有用的数据对文档的电子发现和可检索性有一定的影响。但是,这些都不能以优化处理和存储的方式来存储数据。
企业很少使用的数据或从未使用过但可能用于法律目的的数据,可以存储在数据中心或云端,或存取在速度慢但成本低廉的磁带和磁盘组成的冷存储设备上。企业必须提供的快速日常访问数据可以存储在价格高昂的超高速固态硬盘上。而处于这两个极端之间的偶尔会被访问的数据可以驻留在中等速度的磁盘驱动器上。
企业需要确定哪些数据应该存储在哪里,然后放在那里,这将会降低存储成本。
2.评估基于云计算(相对于本地部署)数据可扩展性的成本
目前的看法认为,在云端的异常高峰数据时间采用纵向扩展数据存储会更好,因为企业只是租用这个存储空间。但是,当企业超出云端的正常数据存储分配时,也可能存在隐藏的成本。企业应该定期评估它实际上是否在云端进行扩展,以及是否比在自己的数据中心中纵向扩展数据成本更低。
3.清点企业的存储资源并评估它们的使用情况
企业在数据中心的某个地方,数据中心的存储空间或某个现场的某个地方,都会发现没有充分利用的磁盘驱动器。如果企业没有拥有一个跟踪所有资产的最新IT资产管理系统,那么需要立即获取并开始使用。存储设备应该是企业首先关注的一个领域,看它是否被充分利用或根本没有被使用,所以企业可以看到在哪里提高它的效用。如果发现存在过时的存储资源,那么可以将其清除。
4.评估企业分布式数据集市存储
这一点与以上提到的观点是一致的。企业需要知道其分布式数据集市(和存储)在哪里,以及如何充分利用存储设备。如果存储设备的利用率大大降低,那么尝试将其重新分配到更大的需求区域。
5.制定边缘存储策略和实践
边缘存储的独特之处在于,大部分存储设备在使用机器人、人工智能、机器学习和自动化的制造设施中。边缘存储使企业能够临时将数据存储在本地数据中心的收集点,然后在带宽变得更加可用时上传数据,这可能是一个批处理的夜间进程。
边缘存储管理可能是一个问题,因为在许多情况下,要求本地生产工程师或没有存储知识背景的工厂工作人员进行管理。IT存储专业人士需要对这些存储设备进行监控,以便他们可以监控整体运行状况,并确定存储的哪台机器生成的数据以及哪些数据(如机器之间的通信抖动)与业务无关,并决定是否应该丢弃。
6.制定和实施数据保留政策
通常企业每隔几年就会审查一次用户的数据保留政策,而这些审核应该每年进行一次。数据保存和用户访问权限应该每年进行审查,因为这两个方面的存储容量是不断变化的。这个措施还会促使用户确定哪些是他们想要的数据,以及哪些数据可以丢弃。
所有这些大数据存储目标的最终目标是优化存储资源的利用率和开销,无论资源是在内部部署数据中心还是在云端。