异构数据存储实战-异构数据

数据的存储需要根据使用场景的不同而有所不同，对于那些需要快速访问的数据应该存储在高速访问设备，并通过高性能存储系统进行访问；而那些需要进行大数据计算、归档处理的数据则应该存储在廉价、低速的设备中，通过分布式的方式来计算。

异构存储架构是一种多存储设备的系统架构，通过对数据进行自动化管理，根据其访问频率等指标，将数据划分为冷数据和热数据，进而控制其存储在不同的设备上，达到优化性能，降低存储成本的目的。

在异构数据存储增强中，主要面临以下几个核心问题：

1️⃣ 如何选择合适的存储介质？

存储介质既要满足性能、成本需求，同时还要满足可靠性、可用性、容量可扩展、运维简单等需求。

2️⃣ 如何定义业务的冷热数据，并且在存储介质中进行分层？

在业务上，如何描述哪部分是热数据，哪部分是冷数据，是在产品层面上需要考虑的问题。

3️⃣ 冷热数据如何迁移？

随着时间流逝，业务上的热数据降温为冷数据后，存储介质如何感知温度的变化并执行数据迁移来降低存储成本。

4️⃣ 如何提高冷数据的访问性能？

冷数据仍然会被访问，比如数据运营分析要求，用户需对过去一年的数据进行统计分析来进行历史回顾和趋势分析。由于冷数据体量大，查询涉及的数据多，存储介质性能低，如果不进行优化，对冷数据的元信息以及内容访问可能出现瓶颈影响业务使用。

通过定义识别策略，例如访问频率、数据大小、最近访问时间，这些因素用来辅助异构存储系统，成为判别冷热数据的指标。

数据访问的频繁度。即在一段时间内对一个数据访问越多，我们就越将其定义为热数据。
数据大小。一般数据体积较大的数据是不能作为热数据的，如果访问频率很高，需要考虑将其进行拆分，分多个维度进行读取，而不是作为一个整体进行存储。
数据访问的时效性。即访问的数据越接近当前时间点，我们也会将其定义为热数据。因为大多数应用场景都具备空间和时间上的局部性，当前访问的数据，接下来被访问的概率要相对大一些。

在将数据块按照存储策略迁移时，通过将数据进行自动分析，结合策略对数据进行数据压缩、小文件合并，同时针对平台级数据进行自动备份和迁移，达成业务无感知。

分池存储的核心是数据在不同存储层之间的流动，其主要解决的问题是不同介质间性能与容量差异，数据迁移的因素主要包括：存储池空间水位，数据冷热特性，手动迁移数据等。

写缓存：通常情况下，前端数据首先写入SSD层即返回，满足用户对于高吞吐低延迟的需求，随后数据在后台被迁移到HDD层，整个过程对于用户无感知。在吞吐实测过程中，SSD+HDD集群基本同时兼顾了SSD的性能和HDD的容量，成本显著低于SSD集群；

读缓存：由高低速介质容量配比决定，大部分数据最终被写入HDD层。根据数据局部热点特性，高速层会同时会成为读缓存，具体而言，系统根据数据冷热特性尽量将热点数据迁移至高速设备，最大程度上提升读性能。