华为云技术私享会亮相深圳, 揭秘 300% 数据库性能提升原理引热议

企业动态
8月25日,华为云技术私享会深圳站在南山科技园圆满结束。本次活动围绕数据库展开,分享了以 MySQL 为代表的关系型数据库、以及以 MongoDB 为代表的 NoSQL 数据库技术新趋势,并通过现场实战演练和动手体验,为初秋的深圳技术人员带来一抹亮色体验。

科技改变生活,技术改变世界。8月25日,华为云技术私享会深圳站在南山科技园圆满结束。本次活动围绕数据库展开,分享了以 MySQL 为代表的关系型数据库、以及以 MongoDB 为代表的 NoSQL 数据库技术新趋势,并通过现场实战演练和动手体验,为初秋的深圳技术人员带来一抹亮色体验。

[[241592]]

本次分享会的讨论包括《 MySQL 云数据库的性能优化和发展趋势》、《华为云原生(Cloud Native)分布式数据库技术》、《MongoDB 在云上的计算与存储分离架构实践》、《华为云数据库体系及优势解读》、《云时代数据库迁移的新挑战与新玩法》等主题,全面介绍了华为云数据库服务及技术全景,并就行业***动向展开讨论。

在云时代,企业IT业务走向跨地区、全球化部署,IT应用软件逐渐云化、分布式化,要求数据库也要基于云场景架构设计,具备跨地区分布式部署的能力。华为云技术专家总结了传统数据库上云或云服务化遇到的问题,同时深入介绍了华为云原生分布式数据库的技术原理和***实践。

在《MongoDB 在云上的计算与存储分离架构实践》主题分享中,针对华为云近期推出的 MongoDB 社区增强版,专家团队就如何将其性能提升到 300% 的技术揭秘引人入胜,引发大家热烈讨论。

开源 MongoDB 的困境

众所周知,MongoDB 作为全球流行度***的 NoSQL 数据库,强大的扩展性使其在流量具有强爆发性的场景使用中如鱼得水。在现今互联网直播、游戏业务、物联网大数据盛行、业务流量峰值波动大的情况下,MongoDB 尤受企业欢迎。

但是,随着企业发展和数据的不断累积,满足业务性能与数据存储容量的需求也日益增长。在长时间的使用过程中,MongoDB 扩容时性能差、扩容耗时长、扩容成本高、存在资源浪费等缺点也逐渐显现出来。

究其原因,还是在于传统开源 MongoDB 采用的三副本架构本身。

首先,开源 MongoDB 集群扩容以 3 节点为单位,扩容成本高,Secondary 节点平时并不处理业务请求,造成资源浪费。此外,固定的节点复制关系,不能容忍任意 2 节点以上的故障,节点故障数据重同步时间长,长时间处于降级状态,故障重构能力差。

由于存储数据使用本地文件系统,每一个 shard(分片) 节点之间数据是相对独立的。当扩容时,需要将已有节点的数据均衡到新节点;因为数据独立存在,所以要对数据进行网络拷贝;也因此,MongoDB 扩容后性能不能立即得到提升。

此外,数据拷贝对节点资源消耗很大,出于对整体性能的考虑,MongoDB 限制了数据迁移的速度,导致集群横向扩展不能及时完成;

以上种种,都在很大程度上限制了 MongoDB 的使用场景范围。

那么,华为云 MongoDB 社区增强版,是如何从技术上解决这些难题的呢?

增强版 MongoDB,从内核开始改造

华为云 MongoDB 社区增强版,完全基于游戏业务、互联网应用、大数据等场景研发,采用计算和存储分离的全新架构,是典型的 Cloud Native (云原生)文档数据库。在技术上,更是通过一系列自研黑科技,将整体性价比提升 3 倍。

  • 将 MongoDB 的多副本复制功能卸载到分布式存储,使得 Secondary 节点也可以为读写服务,相同成本下获得 3 倍的计算能力,进而获得 300% 的读写性能提升。
  • 将 MongoDB 数据库节点无状态化,将数据和计算节点分离,去掉数据强归宿某个计算节点的限制,使得横向弹性伸缩性能提升 100 倍以上。
  • 打破 MongoDB 只在单个 Shard 副本集内节点间复制 3 副本的限制,分布式存储采用分片复制能力,磁盘故障后可以由更多磁盘参与数据重构,10 倍缩短数据重构时间。
  • 使用分布式存储的快照备份技术,替代 MongoDB 的逻辑备份,10 倍提升备份恢复性能。
  • 采用存储计算分离架构,扩容步长仅 1 个节点,提升扩容效率,降低扩容成本。
  • 打破 MongoDB 只在单个 Shard 副本集内支持 HA 高可用的限制,集群内所有 Shard 的所有节点都互为 HA 备份关系,使得可以支持任意 N-1 个节点故障。

社区版原生集群架构与华为云 MongoDB 社区增强版架构

目前,华为云 MongoDB 社区增强版处于公测期间,但在性能测评中的表现却相当抢眼。在数据量为1 .6亿文档(160GB)时,2Shard 扩容到 4Shard 时,耗时从原来的 30 小时减少到 2 分钟,不但扩容时间缩短了上百倍,而且扩容期间性能更加平缓。

华为云数据库依托于华为30多年的技术实力,结合机器学习算法,已为多次大型海量并发交易与金融级数据安全提供坚实的技术支撑。截至目前,华为云已上线 16 大类超过 120 款云服务,涵盖制造、医疗、电商、车联网、SAP、HPC、IoT 等领域60多个解决方案。

此外,华为的业务性质,决定了其在尊重租户数据主权,坚持中立、客观立场方面的独树一帜。在任何场合,公司也承诺恪守业务边界,不碰租户数据,不会利用租户数据谋取商业价值。

由此可见,华为云数据库无论在技术底蕴上、生产环境运用上、还是在安全保障方面,均具有得天独厚的优势。

HUAWEI CONNECT 2018作为华为自办的面向ICT产业的全球性年度旗舰大会,将于2018年10月10日-12日在上海隆重举行。本届大会以“+智能,见未来”为主题,旨在搭建一个开放、合作、共享的平台,与客户伙伴一起共同探讨如何把握新机遇创造智能未来。欲了解更多详情,请参阅:https://www.huawei.com/cn/press-events/events/huaweiconnect2018?ic_medium=hwdc&ic_source=corp_banner_allwayson&source=corp_banner

免费试用华为云 MongoDB 社区增强版,请移步官网:

https://activity.huaweicloud.com/dfv_mongo/index.html

更多数据库畅销引擎免费试用请点击:

http://activity.huaweicloud.com/free_test/index.html

 

责任编辑:张燕妮 来源: 51CTO
相关推荐

2018-04-26 14:56:28

大数据

2017-12-08 20:10:30

华为云

2018-08-14 13:49:04

华为云

2018-06-06 14:03:19

2011-03-11 15:16:43

国产数据库

2018-08-21 12:17:26

华为云

2011-05-12 09:19:36

海量数据库管理

2018-12-19 14:28:14

区块链公信链

2018-05-15 17:58:25

华为云

2013-01-18 14:00:59

VMware

2017-12-26 18:11:27

华为私享会华为云

2019-10-09 10:22:13

数据库云计算技术

2013-03-25 14:10:02

Windows Blu

2018-11-08 17:43:25

华为云

2018-06-12 11:19:28

2017-11-17 18:16:02

华为

2014-11-11 14:31:07

应用交付/地铺科技

2024-11-07 15:46:55

点赞
收藏

51CTO技术栈公众号