人工智能、物联网、区块链技术的发展,让数据规模量级持续提升。随着海量数据的加速度增长,对可扩展的超大规模分布式存储已有迫切需求。传统SAN和NAS由于可扩展性的限制,无法达到如此大规模的存储能力。
当数据规模数以亿计时,如何安全、高效地对其进行存储、收纳、归类、修改?
天玑科技联合上海高校历时两年开发成功的“高可靠高效能的超大规模分布式存储系统技术与应用”项目,以领先的技术方法在数据传输、存储等方面对分布式存储系统进行了优化,为企业提供了构建高效数据存储系统的技术方案,帮助其处理源源不断的海量数据。
项目简述
项目名称:高可靠高效能的超大规模分布式存储系统技术与应用
总体目标:本项目基于开放标准架构的存储服务器和先进网络技术,通过高可靠软硬件一体化创新体系研究,形成较大规模、可扩展的高稳定、高性能分布式存储系统。
研究成果:
- 申请第一个IP层网络编码的专利
- 发表第一篇IP层网络编码的论文
- 在网络编码方向完成5个原型系统
- 共申请国内发明专利7项
- 计算机软件著作权9项
- 共获得软件产品6项
- 共发表论文8篇。
测试验证
测试背景:超大规模分布式存储系统是基于X86服务器的分布式块存储技术,作为软件定义存储(SDS)领域的一种全新技术,可以有效地实现存储软件与硬件的解耦,存储空间的横向扩展以及存储空间的灵活配置,但业界不同厂家实现的机制不同,对底层X86服务器的要求、支持的部署方式上也有所差异,其功能、扩展性、可靠性、可管理性以及性能的情况需要进行验证。
测试性能:在整个研发测试过程中我们采用了高压测极的方式去验证系统的稳定性,灾备能力,分别针对基本管理功能、基本业务功能、系统可靠性、扩展性等进行测试。
最终所有数据均完整拷贝,文件校验正确,并通过管理系统看到完整的告警和恢复过程。
测试结论:
- 提供完善的管理系统功能及硬盘故障点灯的功能,方便故障磁盘定位
- 部署简单、兼容多种客户端系统
- 保证数据可靠性,在各种异常情况下,都能保证业务正常运行,且能明确的告警和定位具体硬件
- 混合模式下能提供高性能
- 节点线性增加后,IOPS性能线性增长明显,带宽性能在后期增长较慢
项目应用
在为某保险机构建设数据中心时,我们采用万兆以太网络对储存节点方式构建,最终的全系统性能帮助其解决以下存储需求:
- 突破传统存储基础架构的性能瓶颈
- 解决极速增长的数据量带来的扩容难题
- 降低存储性能高性能带来的高成本
- 减小存储设备故障导致的业务中断风险
- 降低缺乏高效的数据保护存在的数据丢失风险
数据已成为现代信息社会最重要的财富。具有自主知识产权的超大规模分布式存储,对于保障信息安全具有重要意义,天玑将为政企用户提升信息技术关键领域的竞争力继续努力。