PBData核心原力:初探爆炸式增长、指数级上升的卓越性能之NVMe

企业动态
存储是现代企业IT硬件的核心基础之一。存储系统所采用的数据存储方式大致可分为DAS,NAS和SAN这几种。 随着基于NAND Flash的SSD的发展,传统的SCSI协议已经制约了SSD在高并发和低延时上的继续发展。

从最早的HDD机械硬盘到SSD固态硬盘,是一个物理科学上的更迭。随后,SSD硬盘普遍出现在人们的视野里,常用来打游戏,做运算以及需要快速存储大量数据的场景。严格来讲,NVMe是一个接口规范,而SSD是物理科学产物。SSD支持包含NVMe、PCI-E等多种接口协议,以满足不同用途目的。

存储是现代企业IT硬件的核心基础之一。存储系统所采用的数据存储方式大致可分为DAS,NAS和SAN这几种。 随着基于NAND Flash的SSD的发展,传统的SCSI协议已经制约了SSD在高并发和低延时上的继续发展。

为了应对这种软件协议上的制约,NVMe应运而生,其硬件上直接使用PCIe总线代替专用存储总线,软件协议上设计了高达65535个I/O队列,每个队列上65536个并发命令,极大的提升了存储协议性能上限。

NVMe传输模型所示,每个NVMe host上都会有N个NVMe core,其中一个为管理相关的core,其余为I/O core,为了性能考虑,一般I/O core数量和当前系统中CPU数量相同。

每个Core上都配置有发送队列和完成队列,其用于给controller发送消息和接收controller消息。根据系统资源配置和应用负载要求,可以配置多个发送和接收队列,每个core上支持配置成发送、接收队列配对的方式,也支持多个发送队列共享一个接收队列的方式。管理队列仅支持发送和接收配对的方式。

应用了NVMe协议后,单个SSD可以达到十几万,甚至几十万的随机读写IOPS,这在SCSI时代简直是不可思议的事情。然而,幸福的烦恼又产生了,单机软件基本上不能消耗完这些性能,如何让这些高性能的NVMe SSD在多个服务器之间共享成为了核心问题?

传统的SAN存储网络,大部分都是基于SCSI协议发展而来,无论基于TCP的iSCSI,还是基于RDMA技术的iSER, SRP,都无法满足当前NVMe SSD的性能要求,那么为什么不把如此高性能的NVMe协议应用于存储网络呢?

答案当然是肯定的,NVMe协议1.3中就规定了NVMe over Fabric相关协议内容。

什么是NVMe over Fabric

NVM Express over Fabric定义了一个基于NVMe块存储的通用软件架构,其可以支持各种存储网络结构。简单来讲,NVMe over Fabric定义了一组协议,可以支持Fibre Channel, Inifiband, RoCE, iWARP这些存储网络:

当前NVMe over fabric支持的网络结构,从软件的实现上可以分为以下几类:

  • RDMA(包括Infiniband, RoCE, iWARP)
  • Fibre Channel
  • PCIe

尽管软件上多种实现方式,NVME在抽象层定义了统一的数据消息格式,当给NVMe设备发送消息的时候,各种琐碎的消息都被封装在capsule里面统一发送,这样可以提高传输效率和降低消息的平均延时。

NVMe的实际效用

而采用了该技术的PBData一体机,不仅仅具备常规意义上的SSD高速,更具有数据传输意义上的高速。

为什么这么讲,因为常规的SSD复制操作消耗CPU和内存,而企业级的数据中心,在新一代的技术下,是颠覆传统,极少占用资源,直接传入存储空间。

PBData数据库一体机的基本配置

该设备是某航空采购的天玑众多产品的其中一台基本型,具备众多超凡的基本能力:

用于高性能计算、热插拔闪存、Infiniband网络、RDMA 远程直接存取数据的数据库解决方案,提供高可用、易扩展、高性能的数据库服务,适用于 OLAP、 OLTP 以及混合负载等各种应用场景下的极限性能需求,支持 Oracle 等各种主流数据库。 

该航空公司采购的数十台不同机型存储矩阵,控制数千人在线延迟60ms内,其中TPM、TPS等提升性能3-4倍左右,高达传统机型20多倍的IOPS将吞吐量连升3级,不仅满足了现阶段的业务需求,还极大的扩展了面向未来业务的处理能力

 

责任编辑:张燕妮 来源: 51CTO
相关推荐

2011-08-14 23:00:10

联想工作站

2011-07-02 14:41:13

惠普工作站

2015-09-23 11:36:06

2013-09-30 10:17:57

SAP

2019-08-26 11:35:08

存储

2013-11-08 17:56:28

SAP中国商业同略会

2010-03-09 13:54:55

2019-05-21 09:00:00

网站Web主机加载时间

2023-08-26 21:38:04

Kuma框架CSS

2021-03-17 11:01:59

开发安全应用安全漏洞

2021-12-21 22:52:23

加密货币基金去中心化

2022-05-11 14:01:49

区块链比特币数据

2012-12-06 11:21:40

Windows 8

2023-08-31 16:07:04

2016-07-27 17:35:20

服务商

2011-02-14 10:48:26

联想NEC服务器

2021-03-19 10:45:25

应用开发安全网络安全技能

2021-05-28 11:10:18

区块链加密货币比特币

2015-09-10 09:24:58

2015-10-26 19:33:54

DaoCloudDocker容器Docker
点赞
收藏

51CTO技术栈公众号