探索结构化与非结构化数据，存储段如何响应块大小变化，以及I/o驱动和吞吐量驱动工作负载之间的差异。
本文分析了块大小及其对存储性能的影响之间的相关性。本文讨论了结构化数据与非结构化数据的定义和理解，不同的存储段对块大小变化的反应，以及I/o驱动和吞吐量驱动工作负载之间的差异。它还强调了吞吐量的计算和基于工作负载类型的存储产品的选择。
块大小及其重要性
在计算中，物理记录或数据存储块是称为块的位/字节序列。系统或存储设备中单个块中处理或传输的数据量称为块大小。它是决定存储性能的因素之一。块大小是对存储产品进行性能基准测试和将产品分类为块、文件和对象段的关键因素。
结构化数据与非结构化数据
结构化数据以标准化格式组织，通常在有行和列的表中，使人和软件易于访问。它通常是定量数据，这意味着它可以被计数或测量，并且可以包括数字、短文本和日期等数据类型。结构化数据非常适合用于分析，并且可以与其他数据集组合在一起存储在关系数据库中。
非结构化只是指不以结构化数据库格式存储的数据集(典型的大型文件集合)。非结构化数据具有内部结构，但它不是通过数据模型预定义的。它可以是人工生成的，也可以是机器生成的，采用文本或非文本格式。
通常，结构化数据的块大小在4KB到128KB之间，在某些情况下，它也可以达到512KB。相反，非结构化数据的块大小范围要大得多，可以很容易地达到MB范围。
结构化和非结构化数据的块大小
OLTP或在线事务处理是一种数据处理类型，它包括执行并发发生的多个事务—在线银行、购物、订单输入或发送文本消息—而OLAP是一种在线分析处理软件技术，您可以使用它从不同的角度分析业务数据。组织从多个数据源收集和存储数据，例如网站、应用程序、智能电表和内部系统。
大多数OLTP工作负载遵循结构化数据，而大多数OLAP工作负载遵循非结构化数据模式，它们之间的主要区别在于块大小。
基于块大小的吞吐量/IOPS公式
存储吞吐量(也称为数据传输速率)衡量每秒向存储设备传输和从存储设备传输的数据量。通常，吞吐量以MB/s为单位进行测量。吞吐量与IOPS和块大小密切相关。
IOPS(每秒输入/输出操作数)是对不连续存储位置的最大读/写次数的标准度量单位。
在上面的公式中，KB/IO是块大小。因此，根据块大小，每个工作负载是io驱动的还是吞吐量驱动的。如果任何工作负载的IOPS都更高，则意味着块大小更小，如果任何工作负载的吞吐量都更高，则块大小偏大。
基于块大小的存储性能
存储技术根据块大小做出响应，因此，根据块大小和响应时间会有不同的存储建议。块存储更适合较小块大小的应用程序，而文件级和对象存储更适合较大块大小的应用程序。
存储技术及其范围是基于块大小的
块存储一直是块大小较小的生产工作负载的选择，这些应用程序具有更高的IOPS限制。每个块存储发布说明中都包含了每个存储盒能够达到的IOPS的性能数字。同时，文件级存储或任何NFS存储更适合大于1MB的块大小。
对象存储是市场上相对较新的产品，它是为跨多个站点存储文件和文件夹而引入的，其性能范围与NFS类似。
对象存储将需要负载平衡器来跨存储系统分配块，这也有助于提高性能。与块存储相比，NFS和对象存储都具有较高的响应时间，因为I/O必须通过网络到达磁盘并返回以完成I/O周期。NFS和对象存储的平均响应时间在10毫秒以上。
文件系统存储可以满足更大范围的块大小。可以调整文件系统存储的体系结构，以处理大多数块大小的条带化，并提高整体性能。通常，文件系统存储用于实现数据湖、分析工作负载和高性能计算。大多数文件系统存储还使用安装在服务器上的代理级软件，以便通过网络更好地分发数据并提高性能。
对于数据湖或HPC系统的大规模部署，InfiniBand设置是首选的文件系统存储，这些系统的工作负载是吞吐量驱动的，并且预计在短时间内会摄取大量数据。
VSAN是作为VMware工作负载的块存储产品引入的，并且在OLTP工作负载上非常成功。最近，VSAN也被用于具有较大块大小的工作负载，特别是响应时间需求可能不是很关键的备份工作负载。对VSAN有利的是新改进的体系结构和集群大小，这有助于提高整体性能。
工作负载、块大小和适合的存储
由于存储产品对于不同的块大小具有不同的性能水平，如何根据工作负载的块大小选择存储?下面是一些这样的例子：
以工作负载及其各自的块大小为例。此图有助于根据工作负载块大小和整体性能需求选择合适的存储产品。
对于小于256KB的块大小，大多数块存储都可以表现良好，而不考虑供应商公司，因为块存储架构最适合小块大小的工作负载。类似地，RMAN或Veeam备份软件等较大的块大小的工作负载更适合NFS或对象存储，因为这些是吞吐量驱动的工作负载。还有其他设计参数，如吞吐量需求、总容量和读/写百分比，可以帮助确定解决方案的大小。
最终的想法
希望这项研究能帮助资讯科技工程师和架构师根据应用程序工作负载的性质和区块大小来设计他们的设置。
