近年来,随着云、大数据、AI、区块链等技术的发展,分布式架构在IT市场持续火热,在存储领域,分布式存储蓬勃发展。
其中在AI应用最火热的汽车自动驾驶研发领域,每个车企都需要对数百PB数据进行采集、存储、分析训练、仿真。
根据预测,到2025年全球数据将增长到175ZB,其中非结构化数据占比将超过80%,分布式存储凭借高扩展性和易管理能力,成为承载海量数据的重要选择。同时,在政府、运营商、金融等大规模云化数据中心,各大云厂商、分布式存储厂商都在积极推动分布式存储更广泛地应用,替代部分传统存储阵列。
种种迹象表明,分布式存储的春天已经到来。
- 一方面在新兴爆发式增长的非结构化数据场景,分布式存储表现出优秀的扩展性和大容量能力;
- 另外一方面,在传统存储阵列擅长的数据库、虚拟机场景,分布式存储大有全面替代之势。
下面我们就来分析一下分布式存储要想一统天下,还需要弥补的相较于传统存储阵列的三大差距。
从架构设计看,分布式存储的优势需要在大规模数据量下才能发挥出来
传统存储阵列采用Scale-up架构,评价其架构设计好坏的标准是在有限的处理器、内存资源下提供更高的可靠性和性能,管理更大的存储容量。分布式存储采用Scale-out架构,以处理器、内存、硬盘构成一个个独立的扩展单元,其架构设计追求的目标是更大的扩展能力。
凡事都有两面性,传统存储阵列在追求高可靠、低时延的同时,牺牲了扩展能力;分布式存储在追求扩展能力的同时,每个节点都需要用一部分处理器、内存、网络接口来处理和其他节点的IO交互,这也将消耗更多的硬件资源,从而导致相对较高的硬件成本,以及相对较高的时延。
十年前,传统高端存储阵列的性能仅仅在10万IOPS水平,典配容量在百TB级别,而分布式存储依托成百上千节点的横向扩展能力,帮助企业轻松应对大数据、视频等海量数据冲击。
十年来,随着存储处理器、接口的性能逐代提升,性能百倍于机械硬盘的SSD闪存盘规模应用,传统存储阵列的性能和容量扩展能力得到长足的进步。在业界性能权威测试SPC-1排行榜中,存储阵列性能已经突破2000万IOPS。在传统存储阵列扩展能力已经高速发展的今天,分布式存储和传统存储阵列的扩展性分水岭将由十年前的百TB级提升到现在的PB甚至10PB级。
从价格走势看,存储阵列和分布式存储的成本差距正在缩小乃至反转
传统的SAN、NAS存储阵列给大家的另一深刻印象是让人望而却步的高昂价格。分布式存储的这一价格优势使其在全球存储市场高速发展。
然而,在近期Gartner刚刚发布的“存储和数据保护技术成熟度曲线”报告中,提到分布式存储发展的一大阻碍是日益降低的传统存储阵列价格。确实,传统存储阵列每年都会有可观的价格下降,我们看到,虽然企业的数据量快速增长,但传统存储阵列的市场销售额增长相对平缓。
Gartner同时指出,存储的日常管理成本也需要考虑。选用分布式存储意味着企业的IT团队需要重新学习新的存储技术,采用标准服务器+存储软件的商业模式势必需要用户自己规划、设计、维护相对复杂的存储架构。
从全球分布式存储市场来看,欧美发达国家的分布式存储软件价格已经不比传统存储阵列低,甚至高出许多。但从中国市场来看,专业的软件价值没有得到应有的认可,存储厂商陷入比拼硬件成本的恶性竞争,导致分布式存储价格畸形,从长远来看,这其实并不利于分布式存储产业良性发展。
从安全稳定性看,分布式存储相比传统阵列还有待于市场检验
随着《数据安全法》9月1日正式施行,数据安全成为企业IT建设、安全稳定运行必须要考虑的事情。存储作为“数据保险箱”对于确保数据安全至关重要,一旦因为存储故障出现数据丢失,将给企业带来无法挽回的巨大损失。
从稳定性上来看,传统存储阵列经过数十年的发展,在网运行时间长,经受住了各种应用场景的重重考验,安全稳定性值得信赖。存储阵列的数据保护能力也非常强大,包括双活、3DC容灾等,通过多种技术手段进一步保证数据安全。
数据是企业核心资产,对于政府、金融、运营商等对安全合规、稳定可靠有着异常严格要求的用户来说,分布式存储适用于10PB以上的大数据/Web应用/开发测试/桌面云等场景,大多数场景依然可以采用久经考验的存储阵列。从全球市场来看,拥有数十PB以上数据量的用户屈指可数,主要集中在大型互联网厂商、公有云服务商、大型IDC、TOP用户自建数据中心。分布式存储要想全面替代存储阵列,还需期待全球数据的更大范围集中。
从市场份额看,分布式存储虽然快速增长,但存储阵列还是全球主流
根据Gartner对于2020年全球外置存储市场统计来看,主存储(存储阵列)发货容量30ZB、销售额157亿$,第二存储(分布式存储)发货容量13ZB、销售额33亿$。不难看出,无论是在发货容量还是销售金额,存储阵列都远远大于分布式存储。从未来预测来看,到2024年,分布式存储发货容量仍然低于存储阵列,销售额也只有存储阵列的1/3左右。
分布式存储要想一统存储市场,还有很长的路要走
随着海量非结构化数据的爆发式增长,分布式存储有着非常好的发展前景,但从当前技术发展和市场应用来看,并不意味着就可以全面替代存储阵列。全球主流存储玩家,Dell EMC、NetApp、Pure Storage、HPE、华为、浪潮等还在深耕“传统”存储阵列。
存储架构的演进,最终是要以满足用户的场景诉求为目标。分布式存储不会,也不应该将自己的目标定位在替代已有的成熟的存储产品,而更多应该把目光放在新兴的更为广阔的数据海洋。