​用最简单的方式解决海量数据存储问题:解读数据压缩的三大误区

原创
存储 数据管理 存储架构
我们建议企业要根据不同的数据存储需求,来选择最适合自己的数据压缩解决方案,以此来平衡计算、存储和网络基础设施资源之间的权衡,最大化降低企业的TCO。

在数字经济时代的今天,数据已经成为企业的核心资产,推动着企业的业务创新与可持续发展。随着云计算、物联网、5G等新兴技术的落地应用,企业获取数据的方式变得越来越简单,数据量呈现出爆炸式增长的态势。IDC预测,2024年全球将产生157ZB数据。其中,中国新增数据39ZB,占全球24.8%。另外,中国数据增量的复合增长率达26.3%。

高速增长的数据,给企业的存储系统带来了巨大的压力。为了应对数据存储挑战,企业一方面需要根据需求构建灵活的存储扩容解决方案,另一方面也要选择更加合理的数据管理方式。其中,数据压缩便是一种不错的选择。

数据压缩及其优势

所谓数据压缩,是在不丢失有用信息的前提下,通过不同的工具去除掉数据中间的多余成分,即冗余度,用最少的硬盘空间存储最多数字信息的技术。随着音视频、图形图像等非结构化数据的大量产生,数据压缩技术变得更加重要。

在个人电脑中,绝大部分用户都使用过WinRAR、ZIP这类的压缩工具,它们能够将大量的数据进行压缩,以减少硬盘空间的使用率。实际上,除了这些比较常用的软件之外,还有一些专门针对图片、视频、PDF等文件的压缩工具,它们能够将一个1GB以上的文件轻松地压缩到几百兆,如果不在意压缩后的文件质量,甚至能够将1GB的文件压缩到几十兆。

在数据中心内部,庞大的数据量让数据压缩技术更能够大显身手。对于企业而言,借助数据压缩技术不但能够显著降低数据存储的成本,而且有助于提高网络传输性能,降低带宽成本,带来更好的数据使用体验,这也成为目前很多优秀的存储产品具备成熟的数据压缩解决方案主要原因。

不过,时至今日仍旧有很多用户对数据压缩存在很多的认识误区。因此,我们必须通过打破他们关于数据压缩和策略的三个最常见的误区,来让数据管理更加清晰。

数据压缩的三大误区

误区一:数据压缩会造成不必要的性能损失

毋庸置疑,数据压缩肯定会带来数据中心主机性能的损失,但随着SSD在数据中心的广泛应用,数据压缩所带来的性能损失越来越小。这是因为我们可以通过对闪存存储的优化,让数据在写入过程中进行压缩,并在数据读取时进行解压缩,以此来减少对主机性能的影响。

实际上,随着技术的发展,数据压缩不但不会影响数据中心性能,还会对主机性能带来积极的影响:

1)压缩后数据读取和写入硬盘的信息更小,能够提高持续的随机写入性能,增强混合工作负载下的读取延迟,提高写入速度。与此同时,即使能够利用最小的数据可压缩性,也可以显著提高硬盘的性能和耐久性,尤其是在高 IOPS 环境中特别明显。

2)当数据具有高度可压缩性,且混合 IO 中的工作负载越重,则能够突破硬盘容量的物理极限,提高存储密度并降低数据存储成本,同时显著提高性能,降低存储能耗。

3)数据压缩还能够有效提高网络传输的效率,提高网络性能,降低网络延迟和带宽成本。

误区2:数据压缩只有一条途径

很多企业认为数据压缩只有一条路径,那就是靠主机上的CPU执行处理,来完成数据的压缩。实际上并非如此。

随着数据类型变得更加复杂多样,结构化、非结构化、半结构化数据的出现,企业需要根据自己的实际情况来选择数据压缩的方式,既可以选择通过直接在SSD中对数据执行压缩,以此来释放CPU资源,并降低读写延迟,也可以选择利用CPU、GPU等进行计算资源进行数据压缩,以提高数据压缩的效率。

可以说,技术的发展让数据压缩技术变得更加多样化,不同的企业需要根据自身的实际情况,从数据性能和数据生命周期管理的角度来选择合适的数据压缩方式,寻找最适合的一种数据压缩方法,满足对于数据利用、数据管理的独特需求。

误区3:数据压缩技术复杂且压缩比例小

很多企业之所以没有将数据压缩视为解决数据存储和数据管理的工具,是因为他们认为数据压缩技术复杂,且压缩比例小,不值得关注。

实际上,作为一种最简单、最实用的底层基础技术,数据压缩技术并不复杂,甚至很多成熟的存储系统厂商都提供数据压缩解决方案。并且,由于目前几乎所有的数据都是可压缩的,即使压缩比较小,由于其并不会额外消耗过多的资源,也能够带来显著的效果。尤其是对图形图像、视频等非结构化数据的压缩比较大,能够显著地节省存储空间。

写在最后:

降本增效已经成为今年的热点。面对数字化时代的到来,企业需要思考如何才能降低基础架构的总体拥有成本?如何在降低功耗的同时提高存储容量和性能?面对这些问题时,数据压缩技术可以成为不错的选择。

这是因为,随着AIGC时代的到来,企业管理者一方面需求迫切的获取更多的数据,以此来获取洞察,另一方面,又要努力提高存储的使用效率,降低IT基础设施的成本。作为一项最基础的数据管理技术,数据压缩能够让企业用最小的成本,获取最大的收益。

当然,我们建议企业要根据不同的数据存储需求,来选择最适合自己的数据压缩解决方案,以此来平衡计算、存储和网络基础设施资源之间的权衡,最大化降低企业的TCO。

责任编辑:张诚 来源: 51CTO
相关推荐

2011-06-02 09:42:08

数据防泄漏数据泄漏防护

2018-05-28 21:51:25

Protocol bu数据存储序列化

2023-11-17 16:29:38

2013-07-22 13:54:32

iOS开发ASIHTTPRequ

2024-09-28 10:50:08

数据飞轮数据中台数据技术

2015-03-16 13:49:27

大数据大数据误区大数据错误

2010-07-14 14:07:50

SQL Server

2017-12-19 06:14:29

2015-03-16 14:00:25

大数据误区大数据可视化大数据

2023-11-09 09:48:16

数据压缩微服务

2018-01-24 16:32:01

数据目录数据蔓延企业

2013-03-13 09:53:50

SQL Server

2011-03-29 13:56:12

SQL Server 数据压缩

2013-08-08 10:07:43

大数据存储结构化数据

2012-11-30 11:12:03

2012-09-19 15:22:36

Exchange存储

2016-11-14 10:17:41

2016-09-09 00:12:41

大数据大数据分析误区

2018-08-17 06:05:44

2020-11-25 08:00:00

数据分析人工智能技术
点赞
收藏

51CTO技术栈公众号