超大量数据如何处理? 京东技术开放日第二期实战解析大规模分布式存储

新闻 分布式
此次活动的分享主题是“大规模分布式存储实战解析”。曾带领团队自主研发了京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架、新图片系统的京东架构委员会主任、云平台首席架构师、系统技术部负责人刘海锋以“大规模分布式存储的持续研发”为议题进行了讲解。

对于一家大型互联网企业,稳定承受海量的用户请求和爆发式增长的数据是必须面对的技术问题。特别在电子商务领域,每逢大型促销,数据的增长都是成倍的,作为国内***的自营式电商,京东在今年的618店庆活动中成功支持了同比去年增长超过100%的下单量,这与其坚实的核心基础系统和过硬的技术力量密不可分。近日,在京东技术开放日第二期活动中,来自京东技术研发部的***技术人员与业内众多同行分享了诸多经验。

此次活动的分享主题是“大规模分布式存储实战解析”。曾带领团队自主研发了京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架、新图片系统的京东架构委员会主任、云平台***架构师、系统技术部负责人刘海锋以“大规模分布式存储的持续研发”为议题进行了讲解。如今大型互联网公司中海量请求和爆发式增长的数据和用户,令NoSQL数据库越来越受到开发者的关注。刘海锋以京东自主研发的高速KV(key-value)存储服务和分布式文件系统作为落地实践,分享了高性能海量存储的架构改进与性能优化、热点数据常驻内存、弹性容量扩展、高可用自动故障切换、细粒度监控、建立PB级别高可靠强一致存储平台等经验。

对企业而言,PB级的数据管理是衡量其数据规模和管理能力的一个重要标尺,刘海锋重点介绍了京东自主研发的文件系统JFS(Jingdong Filesystem),它不仅实现了海量小文件、对象存储、块存储、新图片系统、元数据表结构存储、Hadoop集成等功能,同时还在分布式存储方面满足了精确故障检测、自动故障切换、两级存储层次、在线纵向扩展以及在线横向扩容等需求,具有很强的指导性。

本次活动的第二个议题是分布式MySQL集群技术开发与实践,由京东资深技术讲师秦波带来,他针对当前热门的分布式MySql系统的设计和实现、应用以及未来的发展方向,深度总结了京东自身在分布式MySQL集群设计和实现阶段,解决整体架构及部署TOPO、分库分表,自动扩展等实战项目积累的经验。

作为技术圈内的一项交流会议,京东技术开放日由京东技术研发部发起,口号是“交流、分享、融合、创新”,旨在通过众多业内技术人士的现场交流,将有价值的技术资源整合推出,让更多的技术人开始分享技术,获得价值,让技术的汇聚成为创新的源泉。截至目前,京东技术开放日活动已成功进行了两期,未来仍将挑选技术领域的热门主题进行分享,与业内同行共同成长,以不断提升众多用户的使用体验。

责任编辑:林师授 来源: 51CTO
相关推荐

2014-07-11 15:47:17

京东技术开放日

2017-10-27 08:40:44

分布式存储剪枝系统

2022-12-02 07:19:46

分布式数据库数据分片

2016-01-12 14:59:40

分布式存储分布式存储架构

2017-10-17 08:33:31

存储系统分布式

2013-07-02 17:36:49

IT半小时

2020-03-02 16:44:44

戴尔

2012-10-23 16:25:16

技术沙龙

2016-10-21 13:24:33

大数据大数据技术董四辈

2018-06-14 11:15:08

区块链数字货币比特币

2017-09-04 08:49:17

存储原理架构

2020-09-27 06:52:22

分布式存储服务器

2018-02-27 08:39:47

图谱数据存储

2023-09-11 11:22:22

分布式数据库数据库

2016-01-12 18:40:17

ITA1024互联网技术开放日

2011-10-18 10:17:39

Android应用开发

2015-12-01 13:46:19

论坛组委会

2010-12-20 23:32:36

Phone Club51CTO移动开发技术

2013-03-22 14:44:52

大规模分布式系统飞天开放平台

2017-01-10 16:18:26

分布式存储建设
点赞
收藏

51CTO技术栈公众号