在数字化和智能化快速发展的今天，对象存储以其高扩展性和低成本优势，成为海量数据存储的首选方案。然而，随着大数据分析、AIGC（人工智能生成内容）等涉及海量数据计算的场景快速发展，对象存储面临着严重的性能挑战。
为了应对挑战，腾讯云存储团队推出了基于对象存储搭建的分布式高性能文件系统GooseFS。在NAS2024大会上，腾讯云存储团队提交的《GooseFS:分布式缓存服务以提高云对象存储性能》论文成功入选会议论文，充分展现了腾讯云在对象存储领域的技术创新实力。
AIGC等应用场景下，对象存储面临诸多挑战
虽然对象存储具备高扩展性和低成本等优势，能够承载TB级别甚至PB级别的数据量，满足了海量数据存储的需求，但是随着大数据分析、AIGC等场景的快速发展，对象存储也面临着严重的性能挑战。
在腾讯云数据湖存储GooseFS负责人程力看来，在AIGC等场景下，对象存储主要面临时延高、吞吐低、元数据操作慢三大主要挑战。
首先，对象存储的数据组织和实现方式导致其时延较高，无法满足对低时延要求较高的应用场景。
其次，对象存储的存储介质性能不足，限制了其吞吐能力的提升，难以满足大数据分析和AIGC等场景下的高吞吐需求。
最后，对象存储的元数据操作性能表现一般，影响了数据访问的效率和准确性。
腾讯云存储产品总经理陈峥表示，性能问题严重限制了对象存储在大数据分析和AIGC等场景下的应用，亟需一种高效的技术方案来解决这些问题。为此，腾讯云存储团队基于对象存储研发了一套分布式缓存架构，这个架构支持计算端的缓存技术、 Storage-Side存储端的缓存技术和元数据操作的加速技术，这也就是GooseFS的整体技术框架。
三个关键设计，加速对象存储数据访问
在GooseFS中，引入了三个关键设计，来实现在存算分离架构下对对象存储的加速访问。
一是计算端缓存加速。在计算端，GooseFS将离计算资源更近的本地盘作为缓存介质存放部分对象存储数据，实现计算对数据的就近访问，降低延迟。同时，通过多级粒度缓存管理和短路读机制，GooseFS降低了随机小IO下的数据访问时延。
程力表示， GooseFS支持多种存储粒度的缓存管理，如4K、8K、16K、64K等。不同存储粒度的数据在缓存中的表现不同，通过多级粒度缓存管理，可以更有效地利用缓存空间，提高缓存命中率。此外，GooseFS还支持短路读机制，当计算节点需要读取数据时，GooseFS会优先从本地缓存中读取。如果本地缓存中没有所需数据，再从对象存储中拉取。这种机制减少了网络传输的开销，提高了数据读取的效率。
二是存储端缓存加速。在存储端，GooseFS构建了高性能SSD缓存池，为计算节点提供存储端的缓存支持。这解决了对象存储介质性能不足的问题，提高了面对顺序IO时的吞吐率。据介绍，GooseFS利用高性能SSD构建缓存池，提供高速的数据读写能力。当计算节点需要写入数据时，可以先将数据写入SSD缓存池，再由缓存池异步写入对象存储。这种机制提高了数据写入的效率，减少了对象存储的压力。
三是元数据加速。GooseFS自研了一套高性能元数据引擎，通过元数据分级管理、强一致性缓存和平行扩展等技术手段来提升元数据读写性能。同时，将元数据持久化到底层的企业级数据库中，以此大幅提升了元数据处理的效率。
实验结果表明，相比原生对象存储，GooseFS的吞吐量提升了8~10倍，同时降低了90%的存储带宽消耗，满足了多种工作负载对高性能要求。
据程力介绍，在AIGC场景中，模型训练需要处理大量的数据，对存储的性能要求较高。GooseFS通过加速数据访问，提高了模型训练的效率和准确性，降低了训练成本。在大数据分析场景中，需要对海量数据进行处理和分析。GooseFS通过提高存储吞吐量和降低时延，加速了数据分析的速度，提升了数据处理的效率和质量。
除此之外，在智能推荐场景中，需要根据用户的行为和兴趣进行实时推荐。GooseFS通过加速数据访问和元数据操作，提高了推荐系统的响应速度和准确性，提升了用户体验。
目前，GooseFS已经服务了蔚来、博世、百川、高途、燃数、酷狗等一大批客户，在多个应用场景中展现了其卓越的性能优势。
多项创新技术加持，携手业界共同推动对象存储发展
GooseFS的技术创新不仅体现在其卓越的性能优势上，还体现在其灵活部署、高可用性和强一致性等方面。
1）灵活部署：GooseFS支持灵活部署，可以根据业务需求动态调整缓存容量和节点数量。同时，GooseFS支持多种存储介质和操作系统，具有广泛的适用性和兼容性。
2）高可用性：GooseFS通过利用Raft协议和企业级数据库进行元数据持久化存储，保证了系统的高可用性。即使在某些节点出现故障时，也能快速恢复数据访问能力，保证业务的连续性和稳定性。
3）强一致性：GooseFS的读写操作都是强一致的，即写入后的数据可以立即被读取到。这保证了数据访问的准确性和可靠性，避免了数据不一致带来的潜在风险。
从业界发展来看，GooseFS的技术方案已经得到了广泛的认可和关注。除了腾讯云之外，阿里、火山引擎等厂商也在积极研发类似的缓存+高性能文件系统方案。同时，一些开源厂商和初创企业也在该领域进行探索和创新。在多方的共同努力下，对象存储技术的发展也有了巨大的进步。
写在最后：
作为创新技术， GooseFS通过引入计算端缓存加速、存储端缓存加速和元数据加速等关键设计，实现了对对象存储的加速访问。实验结果表明，相比原生对象存储，GooseFS的吞吐量提升了8~10倍，同时降低了90%的存储带宽消耗。目前， GooseFS已经服务了多家知名企业，在AIGC、大数据分析和智能推荐等应用场景中展现了其卓越的性能优势。
不难发现，随着未来数字化和智能化的不断深入发展，对象存储将面临更多的挑战和机遇。腾讯云存储团队将继续致力于技术创新和产品研发，为用户提供更加高效、可靠和智能的存储解决方案。同时，腾讯云存储也将积极与业界合作伙伴进行交流和合作，共同推动对象存储技术的发展和进步。
