迎风而上2021:如何破题五大数据挑战?

存储 存储软件 大数据
白驹过隙,时光荏苒。2020年对于我们所有人来说都是不平凡的一年。我们见证了COVID-19疫情的肆虐,也体会了战疫中科技的能量。不仅应对疫情,科技同时在改变着我们疫后生活、工作的方式,这其中,数据的存储和管理,也呈现出更多的新态势,需要我们去关注并给与及时应对。

白驹过隙,时光荏苒。2020年对于我们所有人来说都是不平凡的一年。我们见证了COVID-19疫情的肆虐,也体会了战疫中科技的能量。不仅应对疫情,科技同时在改变着我们疫后生活、工作的方式,这其中,数据的存储和管理,也呈现出更多的新态势,需要我们去关注并给与及时应对。

[[361241]]

1.     (静态和动态数据)分层安全的重要性日益提高。

超大规模软件生态系统不断发展,使得企业和站点在不具备基础设施所需联网能力的情况下,也能够在较小的“原子单元”上开发和部署应用。越来越多的云原生应用在全球各地的联网点或托管设施上运行。企业必须在流程的每一步对数据进行保护,在更加分布式的部署模式中妥善保护用户静态和动态数据。

给企业领导者的建议:在许多行业中,为防止来自内、外部的各种威胁,静态数据加密逐渐成为强制性要求。也许今天在您所处的行业中静态数据加密还不是一项强制性要求,但将来终归会如此。因此,希捷建议您未雨绸缪,尽快采用加密硬盘,以确保不会造成业务中断。

2.     企业更广泛地采用对象存储。

随着数据的爆炸式增长,对象存储开始成为大容量存储的标配。相较于传统的文件存储而言,对象存储具有诸多优势,包括规范性元数据、可扩展性和无分层数据结构。系统得益于数据集蕴含的更高智能,而对象存储恰能够提供这种智能。存储类型包括块存储、文件存储和对象存储。对于对性能十分敏感的许多任务关键型应用来说,块存储至关重要;文件存储多年来一直服务于传统应用,并可提供可靠的架构;而对象存储则侧重于新应用的开发,它可以与块存储相结合,以共生的方式提升系统规模和性能。许多传统文件应用也在向对象存储基础设施迁移,以充分利用其提供的规模效益。

给企业领导者的建议:由于具备较高的经济效率和可扩展性,对象存储正在迅速成为事实上的大容量存储标准,以快速补充和取代文件存储。此外,新毕业的程序员越来越多地基于对象存储接口来构建工作流程。我们应该多聘用这样的人才。如果您尚未将对象存储引入自己的数据中心,那么现在是时候采取行动了。

3.   可组合系统日益普遍。

将系统划分为独立单元,让它们能够与其他独立单元进行组合,这并不是新想法,但是在开源的基础上广泛采用可组合系统才刚刚起步。Kubernetes是一个开源系统,用于自动部署、扩展和管理容器化应用,是上述发展趋势的核心。开源是应用开发的未来,因为它能够让更广泛的社区携手解决许多行业共同面临的挑战,并允许通过开放式架构部署特定领域解决方案。将硬件进行组合以便更好地满足软件或业务需求,是一个必然的发展方向。

给企业领导者的建议:今天的数据中心正朝着可组合的方向发展,因为它可以更加轻松地部署及重新部署资源,而无需先验配置以及计算、内存和存储之间的静态配置比率。容器和Kubernetes是可组合系统的核心机制,所有数据中心都应该着手采用这些技术,如果它们还没有采用的话。

4.   分层部署大容量存储(将热数据放在闪存上,而所有其他数据放在硬盘上)。

英伟达GPU设计将内存划分为不同的层级(寄存器、共享内存和全局内存),每一层有不同的属性。寄存器延迟较低,内存较小;全局内存延迟较高,提供更大内存。英伟达提供了一个软件界面,使用户可以充分利用分级内存和根据该架构优化的各种解决方案。同样,SSD和HDD也可以处于不同的层级。我们创建了太多有价值的数据,采用同构存储策略无法提高效率。

那么分级存储为什么重要呢?全部由高性能存储设备组成的存储系统成本会比预期高;而全部由大容量存储设备组成的存储系统性能又达不到要求。于是,分级存储应运而生:这种方式可以在成本和性能间取得最佳平衡。随着其他存储技术(例如存储级内存)的不断出现,我们迫切需要能够从各级存储中提取最大价值的架构。

给企业领导者的建议:如果预算无限充足,数据中心可以全部采用成本高昂的存储介质。然而遗憾的是,成本的现实打碎了幻想,我们不得不进行分级存储:热数据保存在高成本、高性能的介质上,而访问频率较低的数据则放在经济实用的大容量存储介质上。幸运的是,数据中心软件越来越擅长识别热数据和冷数据,并进行相应的迁移。如果您的数据中心尚未采用异构存储介质,那么您有可能损失了存储性能,或者付出了高昂的存储成本。

5.   形成性人工智能提升数据的可用性。

不仅数据的创建呈爆炸式增长,有用数据量也在迅猛增长;甚至由于人工智能/机器学习(AI/ML)的进步使得用户能够从已经归档的数据中获取更多信息,已归档数据也开始被激活。企业领导者必须做好准备存储比以往任何时候都要多的数据,用于训练各种模型,以便挖掘重要信息;同时由于数据的使用寿命有可能会延长,也要准备归档更多数据。形成性人工智能是一种使数据变得更具洞察性的手段。Gartner将形成性人工智能定义为“一种能够动态变化以响应具体情况的人工智能”。IDC将形成性人工智能视为“各种新兴人工智能及相关技术的总称,它可以根据情况的变化而动态变化。”由于依赖于能够智能地响应变化的灵活架构,形成性人工智能与分级存储趋势紧密相关。您在监控人工智能模型时有可能会收到信号说它发生了偏离。此时,您可以使用另外一个模型在硬盘层上搜索适当的训练数据,并将这些数据自动移动到闪存层,以加快训练速度。硬盘层也可能是对象存储,因此也与对象存储发展趋势有关。其优点既在于速度(因为数据会自动移动到快速存储层),也在于成本(因为您可以将数据以易于访问的形式存储在高性价比的硬盘上,以备需要时调用)。

给企业领导者的建议:机器学习的最新创新最终释放了期待已久的人工智能潜力。现在,这些机器学习技术需要使用更大的数据集,从而提取更精确的洞察。由于机器学习的未来发展和进步难以预测,所以企业从现在开始就应该保存尽可能多的数据,以确保将来能够使用最好的训练数据来进行各种分析。 

责任编辑:庞桂玉 来源: 中国IDC圈
相关推荐

2022-08-08 10:20:19

数据安全首席信息安全官

2015-08-26 10:46:16

大数据

2017-11-27 16:25:04

2021-04-19 08:00:00

网络安全数字化转型远程工作

2017-01-15 10:56:57

大数据非结构化过期

2013-05-07 09:24:53

BYOD

2013-01-10 10:30:32

大数据预测Hadoop

2012-08-13 14:27:31

大数据

2023-03-30 14:14:45

Kubernetes

2017-06-08 12:30:21

2018-01-12 14:11:35

2012-02-15 09:29:58

大数据IT

2015-10-20 09:42:36

医疗大数据应用

2022-03-14 09:46:10

Hadoop大数据

2022-01-14 11:29:09

威胁帖子安全观察网络犯罪

2021-01-26 11:12:57

数据分析大数据大数据分析

2022-03-15 14:55:34

Kubernetes

2024-04-30 07:02:00

OT网络安全DDoS攻击OT系统

2014-06-24 10:45:21

2010-03-23 09:31:13

云计算
点赞
收藏

51CTO技术栈公众号