亚马逊云科技的技术架构演进创新实践​

原创
云计算
在生成式 AI 时代,技术架构的演进趋势有哪些新的特点?在近日举办的 2024 亚马逊云科技中国峰会现场,亚马逊云科技大中华区解决方案架构总经理代闻以桥梁为比喻,深入探讨了亚马逊云科技在技术架构演进过程中的创新实践。

在过去的十年里,云计算极大地推动了创新和创业的步伐,为各行各业带来了前所未有的便利。展望未来十年,生成式 AI 将引领我们共同重塑各行各业的格局。在这个特殊的时间点,What Will You Build?

在生成式 AI 时代,技术架构的演进趋势有哪些新的特点?在近日举办的 2024 亚马逊云科技中国峰会现场,亚马逊云科技大中华区解决方案架构总经理代闻以桥梁为比喻,深入探讨了亚马逊云科技在技术架构演进过程中的创新实践。

亚马逊云科技大中华区解决方案架构总经理代闻亚马逊云科技大中华区解决方案架构总经理代闻

代闻表示,桥梁的建造与发展离不开基础材料、建筑架构和多元化需求的协同作用,而技术的发展往往也是如此。他强调,技术架构演进过程中,有三个不变的主题需求,包括基础组件能力,架构体系创新和多元技术融合。我们应该看清变化的技术和不变的需求,积极推进架构演进,连接未来的想象。

基础组件能力决定架构设计

在架构设计的世界里,基础组件的能力往往决定了整个架构的稳固性和扩展性。特别是在云计算领域,这种影响尤为显著。云计算最基础的组件是由计算、存储和网络构成,而在这三者中,计算无疑是最为核心的组件,承载着数据处理、运行应用等关键任务。

当我们谈及云计算的计算组件时,不得不提的是亚马逊云科技Amazon Nitro 系统。自 2006 年亚马逊云科技推出第一台 EC2 以来,经过 11 年的努力,其 EC2 种类从单一的 1 种拓展至 70 种。而在随后的 6 年里,即从 2017 年至 2023 年,EC2 的种类更是迅猛增长到 750种,这一成就的背后离不开 Nitro 系统的强大支持。

2017 年,亚马逊云科技推出了 Nitro 虚拟化平台,将安全、管理和监控功能卸载至硬件层面,实现了主机算力近乎 100% 的客户供给,并极大地增强了虚拟化安全性。更为重要的是,Nitro 系统实现了虚拟化平台与服务器选择的解耦,使得底层的虚拟化技术创新与上层的服务器种类发展能够并行不悖。如今,亚马逊云科技已经发布了五代 Nitro 芯片,持续在网络性能、存储性能和安全加固等方面取得突破,为用户带来了更低的延迟、更高的吞吐量和每秒处理更多数据包的能力。

Nitro 系统不仅带来计算能力的增强,还显著提升了网络性能。最新的 Nitro 系统支持高达30Mpps 的包转发率,即每秒处理三千万个数据包。同时,亚马逊云科技还开发了 SRD(Scalable Reliable Datagram)网络传输协议和 SIDR(Scalable Intent Driven Routing)数据中心路由协议,以最大化利用网络带宽并实现亚秒级的路由收敛,从而进一步扩大了数据中心网络的规模。基于 Nitro 创新带来的网络性能提升,结合新的数据传输协议和路由协议,亚马逊云科技成功建成了 UltraCluster 超大规模数据中心网络,支持 GPU 实例数量高达两万台,如果使用亚马逊自研的机器学习训练 Trn1 实例,甚至可以扩展到三万个 Trainium 加速器。

在存储方面,Nitro 平台同样表现出色。它支持单个虚拟机的最大 IOPS 达到 400K,存储带宽高达 100Gbps。此外,亚马逊云科技还重写了主机和闪存之间的闪存转换层算法,并将其运行在 Nitro 系统的一块芯片上,从而将 SSD 访问延迟降低了 60%,抖动减少了 75%。

当然,在云计算环境中,安全性始终是重中之重。亚马逊云科技的 Nitro Enclaves 提供了一个隔离的敏感数据处理环境,允许客户为自己的实例带来额外的隔离,并只能通过安全的本地渠道进行访问,从而确保了客户数据和应用的安全性。

架构体系创新拓展核心能力

在数字化浪潮的推动下,架构体系的创新已成为企业提升核心竞争力的关键。这种创新主要聚焦于韧性和弹性与效率两方面,它们是企业在复杂环境中持续发展的坚实基石。

首先,韧性是架构体系创新不可或缺的一环。与桥梁需应对天灾人祸相似,技术架构也需应对不可控的外部风险和管理不善导致的内部风险。以 Amazon IAM 为例,它通过控制平面与数据平面的分离设计,确保了服务的稳定运行,即使在极端情况下也能保持服务不中断。此外,Amazon IAM 在每个区域的数据平面都采用了单元架构,实现了高可用性和故障隔离,这种设计理念在亚马逊云科技的多个核心服务,如 Amazon EC2、Amazon EBS、Amazon Aurora 等中均有所体现。

其次,弹性与效率是架构体系创新的另一重要方向。弹性意味着系统能够迅速响应需求变化,通过快速扩展或缩减资源来应对不同负载场景。而效率则侧重于最大化资源利用率,减少浪费,提升整体性能。在这方面,亚马逊云科技推出了多项创新技术,如 Firecracker 轻量级虚拟化技术、Amazon Lambda SnapStart 快速启动功能以及 Caspian 智能资源调度系统。

Firecracker 基于 KVM 构建微虚拟机,能在极短时间内启动完全隔离的虚拟机,并通过多层隔离和保护机制支持多租户环境。其简约设计减少了攻击面,确保了系统的安全性。

Amazon Lambda SnapStart 则利用 Firecracker 的快照功能,对已初始化环境的内存和磁盘状态进行缓存,并在函数调用时从缓存中恢复,从而显著提高了启动速度。在使用 Lambda SnapStart 后,函数的冷启动速度能提升 10 倍,且无需修改任何代码。

在 Serverless 数据库领域,亚马逊云科技的 Caspian 技术实现了内存的高效共享和弹性管理。通过融合虚拟化管理、热管理计划和数据库引擎特性改写,Caspian 允许多个数据库共享同一物理机的全部内存,但每个数据库实际使用的内存仅限于其申请的大小。当物理机内存不足时,Caspian 能智能地将数据库实例迁移至其他物理机并扩容内存,确保 Serverless数据库的流畅运行和高效弹性。

多元技术融合驱动架构创新

随着现代应用对智能体验、可持续发展和合规等多元化需求的日益增长,应用架构的创新变得至关重要。多元技术融合,作为推动架构创新的关键动力,通过整合不同技术领域的优势,为构建更高效、更智能的解决方案提供了可能。

为满足企业多元化的需求,亚马逊云科技精心打造了一系列数据服务,涵盖关系型数据库、非关系型数据库、数据仓库,以及批式和流式的数据采集与分析服务。这些服务不仅满足了企业多样化的数据处理需求,还为企业提供了强大的数据支持。

值得一提的是,Zero-ETL 技术的出现进一步简化了数据处理流程,显著提高了数据处理的效率和准确性。亚马逊云科技已经推出了 6 项 Zero-ETL 能力,助力客户轻松实现数据同步和分析,从而提高业务效率和洞察力。

此外,优良架构体系(Well-Architected Framework)作为一套经过实践验证的架构设计方法,为企业提供了全面的架构评估和优化工具。该框架覆盖了安全性、可靠性、性能效率、成本效益和可持续性等多个方面,指导企业构建出健壮、灵活且高效的架构体系,以应对不断变化的业务需求和市场环境。

结语

作为云计算领域的领军者,亚马逊云科技始终秉持着创新的精神,不断推动着技术架构的演进和行业的变革。在亚马逊云科技发展的 18 年来,亚马逊云科技不仅展示了其强大的技术实力,更体现了对未来发展的深刻洞察和坚定追求。

正如代闻所言,亚马逊云科技正是通过不断优化基础组件、创新架构体系以及融合多元技术,实现了对云计算性能、安全性和可靠性的全面提升,为用户带来了前所未有的体验和价值。

相信,在生成式 AI 时代下,亚马逊云科技将继续秉承创新精神,不断推动技术架构的演进,以更加智能、高效、安全的服务,助力各行各业实现数字化转型和升级。

责任编辑:鸢玮 来源: 51CTO
相关推荐

2022-12-16 11:25:25

亚马逊云科技芯片虚拟化

2021-04-07 10:39:30

亚马逊云科技 易点天下

2022-08-17 17:23:19

亚马逊云科技游戏人工智能

2021-12-21 10:49:21

Serverless亚马逊云科技re:Invent

2021-10-13 10:50:50

亚马逊云科技启元世界AI

2021-10-13 09:19:09

数据

2022-05-06 11:31:33

亚马逊云科技大数据AI

2023-04-27 09:04:02

亚马逊云科技

2020-10-20 17:25:47

云计算人工智能技术

2023-07-25 14:12:42

亚马逊云科技

2023-11-14 20:51:08

2021-03-31 13:31:33

亚马逊云科技

2020-09-21 17:29:42

云计算

2022-09-29 20:47:10

亚马逊云科技

2021-12-14 18:34:54

芯片云计算亚马逊云科技

2016-08-16 17:44:19

华为

2022-09-01 17:57:01

亚马逊云科技

2024-07-31 17:57:42

2022-07-22 10:21:48

亚马逊云科技猎户星空机器人

2018-08-31 17:37:52

intel云计算AI
点赞
收藏

51CTO技术栈公众号