存储和数据库技术都在以惊人的速度发展,而这并非偶然。
存储和内存技术对数据库操作产生巨大影响。IEEE研究员兼数据存储咨询公司Coughlin Associates总裁Tom Coughlin说:“更快的存储和内存直接转化为更快的数据库操作。此外,加速器(可在靠近内存和存储的地方运行)等新技术可以提供潜在更有效的操作,更高的性能和更低的延迟。”
相同的演变
存储产品提供商Seagate Technology公司副总裁兼企业数据解决方案总经理Ken Claffey表示,从技术和部署方法来看,存储和数据库系统一直处于相同的发展曲线。随着时间的流逝,SQL数据库已经从垂直可扩展的系统发展为NoSQL数据库,后者是水平可扩展的分布式系统。同样,存储技术已经从垂直扩展的阵列发展到水平扩展的分布式存储系统。 Claffey说:“两种技术都经历了部署方法的变化,从本地专有系统到软件定义的开源云存储模型。”
数据库开发商ScyllaDB公司杰出工程师Glauber Costa说,NoSQL的演变消除了仅出于减少数据重复的目的而创建复杂的难以管理的数据模型的需要,这与基于PCIe的SSD在2007-2008年的到来紧密相关。他补充说,NVMe技术的随后出现有助于进一步提高数据库性能。
展望未来,持久性内存可能催生新一代快速而强大的数据库,可处理视频、IoT和其他复杂数据。Costa说:“通过持久内存,你将看到每个人都在试图将延迟从单毫秒(ms)推向几十微秒(µs)。”他还指出,存储已经从HDD可接受10 ms访问的世界,转变为可在SATA SSD上获得400 µs性能的世界,而在NVMe设备上可以达到10-100 µs。他说:“接下来,我们将谈论100-200纳秒(RAM级)持久内存。”
存储提供商还认识到有必要以超乎寻常的速度来增强其产品,以满足更大更复杂和越来越易受攻击的数据库的需求。Costa说:“我们不仅仅是在讨论吞吐量、延迟或密度的并行性。例如,随着数据库中对隐私和安全性的要求不断提高,很多NVMe提供商现在都提供静态数据加密。”
速度和可扩展性
下一代数据库需要更快的存储和高度可扩展的架构。Excelero首席架构师Kirill Shoikhet说:“现在的NVMe控制器可处理的并行I / O命令比SAS及SATA SSD控制器多四倍,并且其中一个NVMe驱动器通常能够提供整个全闪存阵列的性能。”Excelero公司是针对云端和企业应用程序的软件定义块存储提供商。
Shoikhet说,事务处理完全是关于延迟和并行性,而NVMe技术可以大大降低延迟。他说:“使用NVMe-oF以高效的方式远程访问NVMe驱动器的能力,为在高性能数据库即服务的数据中心中运行数据库实例带来很多可能性,但是,传统的基于控制器的架构所带来的瓶颈问题,潜在地意味着它们无法扩展性能以允许很多低延迟同时访问。相反,基于NVMe-oF或基于远程直接访问存储器网络的类似协议的直接访问的方法,可实现共享的低延迟访问,从而允许数据库扩展到类似云的环境并保持强大的投资回报率。”
存储和数据库技术的下一步发展
随着数据需求和使用量激增,存储价格继续迅速下降。但是,尽管最近技术进步,但是应用程序的可扩展性和性能仍然会受到存储性能和功能集的限制,数据库软件和服务提供商Percona公司首席经验官Matt Yonkovit说:“随着应用程序存储更多数据的需求增加,对更快更可靠的存储的需求也将增加。”
存储和数据库的交集有很多令人兴奋的发展,包括计算存储、持久性内存和GPU映射的SQL。存储和数据库技术正在快速发生变化和创新,这绝对值得关注。