根据分析机构Statista公司的预测,2018年的数据中心存储容量将达到1.45泽字节,到2021年将增长到2.3泽字节。可以说这是很庞大的数据,而且增长很快。在商业存储领域,数据增长推动了所有存储介质的容量和性能的发展。它还促进了旨在管理所有数据的软件工具的开发,其中包括从非结构化数据中挖掘商业价值,并保持合规性。
企业数据存储发生了什么?
要了解当今企业数据存储市场的情况,需要了解一下影响数据存储的主要趋势:
1.分层存储仍然是重中之重
随着企业将主要数据存储在机械(HDD)硬盘上,并将备份数据存储到磁带,存储分层已经存在数十年的时间。分层存储已经变得更加复杂,但其原理仍然一样。
企业在SSD硬盘上提取活动数据,并在SSD硬盘或高性能硬盘上进行处理,然后使用高容量HDD硬盘移动到近线存储。此层可能位于相同的存储系统上或位于数据中心内。通常将老化但仍然活跃的数据归档到活跃存档磁带或热数据层,并将备份和长期存档存储到非现场磁带或基于云计算的冷存储中。
2. SSD硬盘在商业领域的应用不断增长
在商业市场上,NAND闪存具有很高的耐用性和性能,特别适用于高事务、低延迟的业务应用。
SSD硬盘在混合阵列中填充全闪存存储阵列和0级和1级存储阵列。调查机构IDC公司报告表明,企业全闪存阵列市场在2017年***季度增长了75.7%,其市场收入达到14亿美元。混合型闪存销售额更是高达20亿美元,这些销售在2017年底和2018年继续增长。
闪存产品比HDD硬盘更加昂贵,但这种差距正在迅速缩小。二者的价格差距在一段时间以来一直在缩小,闪存的容量比硬盘驱动器的容量更高,并且它提供了更高的性能与容量价值(目前世界上容量***的存储媒质不是机械硬盘,而是SSD硬盘)。闪存产品开发人员仍然关注单位成本更低、容量更大的存储单元,而存储级内存(SCM)非易失性存储器的进步显著降低了应用程序的延迟。
3. HDD硬盘还有发展空间
尽管SSD硬盘的应用越来越广泛,但HDD(机械)硬盘并不会消亡。HDD硬盘供应商通过增加磁盘密度,并将更多磁头和磁盘装入单个驱动器来提高存储容量。
虽然固态硬盘正在努力缩小价格差距,但其平均成本仍然比SSD硬盘高出6.6倍。虽然SSD硬盘的价格全线下调,但IDC公司预测,2021年机械硬盘的价格仍比固态硬盘低2.2倍。
分层存储针对混合存储媒质进行了优化,HDD硬盘在闪存和磁带之间构成了一个巨大的媒质扇区。HDD硬盘的高容量、可靠性、快速性能和经济性将继续成为这种组合的一部分。
4.磁带不会消亡
磁带已不再是通用的存储产品,但它对于数据存档和长期的备份保留和存档具有重要意义。
云端冷存储层越来越受欢迎,但许多活跃的存档环境都保留在本地部署的设施中,以确保具有足够的带宽。在基于磁盘的存储系统上,许多磁带部署也更加高效。庞大的磁盘库占用大量的空间和能源,而大多数磁带库和驱动器体积较小,占用空间、散热和电力更少。而磁带介质的成本仅为SSD硬盘和HDD硬盘存储成本的一小部分。
说到磁带介质,线性磁带开放(LTO)技术联盟在LTO开发路线图上做了很好的工作,并保持了LTO磁带制造商之间的互操作性。而每代磁带产品的容量都在增加,IBM公司的下一代磁带驱动器正在使用TMR(隧道磁阻)来进一步提高容量。
5.云计算促进存储发展
云计算是数据存储获得高增长的更大机会,但是不同的模型提供不同的存储需求。当组织决定将应用程序或数据存储到云端时,组织应该知道它们之间的区别。
- 私有云是内部部署的唯一租户的云环境,通常位于主数据中心。该环境运行云编排服务,并允许企业在其防火墙后使用云计算设施。
- 混合云和多云。这两种云服务有所不同:混合云协调多个云之间的服务,而多云策略仅仅意味着企业在其投资组合中保留多个云服务。混合云实现不同云服务之间的某种级别的集成和协调,例如将客户的私有云与供应商所有的云服务集成。大型混合云包括SAP和IBM公司拥有的公共云,他们将客户私有云的内部部署服务扩展到自己的私有云。
- 公共云是多租户云,可用于各种工作负载和用例。在这里将公共云划分为两种类型:超大型公共云供应商和定制云服务提供商(CSP)。超大规模公共云供应商是AWS、Azure和Google等云计算巨头。他们以全球影响力和可扩展性而闻名,他们支持多种计算环境,其中包括长期数据存储、SaaS、PaaS、IaaS部署。
- 定制云服务提供商(CSP)提供的是专用的公共云服务,可用于不同的客户使用案例。这些案例可能因地理位置、垂直行业、数据工作量而不同。尽管它们是一种公有云,但它们不同于专注于超大规模的公共云。他们的竞争优势通常是他们的专业重点、客户服务,以及与客户的灵活服务等级协议(SLA)。
6.非结构化的数据管理和分析
非结构化数据代表企业中存储的大部分数据达到85%以上。由于这些数据迅速老化,在1至3个月内,这些非结构化数据中的大部分都在辅助系统和冷存储库中。
问题在于,大部分数据都具有商业价值,但定位和提取数据可能非常困难。开发人员正在使用数据管理和分析工具进行响应,以便企业用户从非结构化数据中获取可操作的情报。
非结构化数据管理工具发现并智能地处理非结构化数据。例如,分类软件在各种存储系统上发现非结构化数据,并通过元数据、内容和场景对其进行分析。然后,软件执行策略驱动的操作,如防御性删除,以及将数据移动到支持非结构化数据分析的存储中。
7.治理和合规性
治理和合规性要求对企业的存储决策产生深远影响。IT部门有责任与业务部门和法律部门密切合作,了解SOX和HIPPA等法规的数据合规性要求,并充分保护个人身份信息(PII)。
此外,在欧洲开展业务的企业需要严格遵守欧盟的“通用数据保护条例”(GDPR)。新法规将影响数据保留、归档和存储架构,并对违规的公司进行严厉的惩罚。这些企业正在寻求他们的IT部门、内部遵守流程,以及他们的云计算提供商和业务伙伴尽可能遵守这个监管法规。
这不仅仅是外部法规正在施加压力。上市公司有义务调查欺诈和企业间谍活动,甚至私营公司也需要对不良行为者保持警惕。这些企业正在投资合规软件工具,这些工具在电子邮件和社交媒体上对模式识别和消息提示起到重要的作用。
数据存储的发展趋势
数据存储方面存在许多影响企业发展的技术趋势,如人工智能、机器学习、物联网、软件定义存储、对象存储、超融合等。
这些技术趋势促进了商业世界的发展。但记住这一点:没有什么事情会在一夜之间发生。如果企业跟上了数据存储的发展趋势,并理解了业务的技术需求,那么企业可以在业务方面做好准备时采用新技术。