近日,移动云PaaS产品部王嘉凌,IaaS产品部张浩、王少杰、易新组队开黑,参加Pulsar Hackathon黑客马拉松竞赛,获得了全球第四名的好成绩。
关于Apache Pulsar
作为 Apache 软件基金会顶级项目,Apache Pulsar 正在快速成为热门云原生技术之一,不断加速各行业开发实时数据消息和流应用的进程。截至目前,Apache Pulsar 社区已拥有全球超过 400 名贡献者、9K+ Star 、2.2K+ Fork。
关于Pulsar Hackathon竞赛
本次Pulsar黑客马拉松竞赛是由StreamNative主办,意在加速Apache Pulsar项目和社区的发展,为更多的爱好者提供参与项目,展示创造力的机会。参赛者需要在Pulsar功能增强、大数据生态系统集成和解决方案等方向上寻找创新点,并通过集中式在线编程完成原型开发。来自全球各地的130多名参赛者在5月6 -7日两天时间内参与了竞赛,共有11支团队提交了项目成果演示。由多名Apache Pulsar PMC成员组成的黑客马拉松组委会根据提交项目的创新性,可用性以及项目难度进行评分,并于6月16-17日举行的Pulsar Summit北美峰会上现场宣布了成绩和获奖团队。
从容不迫定课题 稳抓稳打定“三高”
代表移动云参加黑客马拉松竞赛的四人小队在时间紧、任务重的情况下,自加压力定位高目标、一着不让追求高标准、精诚合作确保高质量,在两天时间内完成了项目原型的开发和演示,向Pulsar黑客马拉松提交了《Pulsar多租户BookKeeper存储隔离机制》的参赛课题,最终在和全球各路高手的巅峰PK中成功跻身前四。
数据分组隔离 全托管式Pulsar云服务
Apache Pulsar采用计算存储分离的架构,利用BookKeeper来存储消息数据,无需重平衡数据即可进行扩缩容。同时,Apache Pulsar原始支持多租户,通过认证和授权机制实现了租户之间的访问隔离。基于Apache Pulsar的这些特性,移动云上线了消息队列Pulsar,为移动云用户提供全托管式的Pulsar云服务。在移动云Pulsar上云过程中使用共享的BookKeeper集群作为底层存储层,存储所有用户的数据。由于所有用户的数据在BookKeeper中落盘时会存储在同一个不断滚动的数据文件中,无法在文件层面区分每个用户的存储数据,导致难以对每个用户的存储数据分别进行统计和配额管理。并且当计算层已释放部分用户的存储数据时,存储层无法及时删除BookKeeper中对应的数据文件来释放磁盘存储空间。
针对消息队列Pulsar遇到的这些痛点,移动云消息中间件团队通过对BookKeeper消息存储机制的深入调研,提出了对数据进行分组隔离落盘的设想,作为本次黑客马拉松竞赛的参赛课题。通过在存储数据的元数据中添加“资源组标识”的方式,让不同用户的数据分别存储到不同的文件路径上的文件中,实现了文件级的隔离,从而让Pulsar在BookKeeper存储层也具有了多租户的特性。这个特性将会完善Pulsar的多租户机制,使得对每个用户的存储数据进行统计和配额管理成为可能。
移动云消息中间件团队后续将会持续完善该功能,并落实到消息队列Pulsar产品中,实现对用户数据更精确的管理和更安全可靠的隔离。
访问官网https://ecloud.10086.cn/home/product-introduction/epulsar
查看更多移动云消息队列Pulsar产品详情