在过去的十年里,云计算极大地推动了创新和创业的步伐,为各行各业带来了前所未有的便利。展望未来十年,生成式 AI 将引领我们共同重塑各行各业的格局。在这个特殊的时间点,What Will You Build?
在生成式 AI 时代,技术架构的演进趋势有哪些新的特点?在近日举办的 2024 亚马逊云科技中国峰会现场,亚马逊云科技大中华区解决方案架构总经理代闻以桥梁为比喻,深入探讨了亚马逊云科技在技术架构演进过程中的创新实践。
亚马逊云科技大中华区解决方案架构总经理代闻
代闻表示,桥梁的建造与发展离不开基础材料、建筑架构和多元化需求的协同作用,而技术的发展往往也是如此。他强调,技术架构演进过程中,有三个不变的主题需求,包括基础组件能力,架构体系创新和多元技术融合。我们应该看清变化的技术和不变的需求,积极推进架构演进,连接未来的想象。
基础组件能力决定架构设计
在架构设计的世界里,基础组件的能力往往决定了整个架构的稳固性和扩展性。特别是在云计算领域,这种影响尤为显著。云计算最基础的组件是由计算、存储和网络构成,而在这三者中,计算无疑是最为核心的组件,承载着数据处理、运行应用等关键任务。
当我们谈及云计算的计算组件时,不得不提的是亚马逊云科技Amazon Nitro 系统。自 2006 年亚马逊云科技推出第一台 EC2 以来,经过 11 年的努力,其 EC2 种类从单一的 1 种拓展至 70 种。而在随后的 6 年里,即从 2017 年至 2023 年,EC2 的种类更是迅猛增长到 750种,这一成就的背后离不开 Nitro 系统的强大支持。
2017 年,亚马逊云科技推出了 Nitro 虚拟化平台,将安全、管理和监控功能卸载至硬件层面,实现了主机算力近乎 100% 的客户供给,并极大地增强了虚拟化安全性。更为重要的是,Nitro 系统实现了虚拟化平台与服务器选择的解耦,使得底层的虚拟化技术创新与上层的服务器种类发展能够并行不悖。如今,亚马逊云科技已经发布了五代 Nitro 芯片,持续在网络性能、存储性能和安全加固等方面取得突破,为用户带来了更低的延迟、更高的吞吐量和每秒处理更多数据包的能力。
Nitro 系统不仅带来计算能力的增强,还显著提升了网络性能。最新的 Nitro 系统支持高达30Mpps 的包转发率,即每秒处理三千万个数据包。同时,亚马逊云科技还开发了 SRD(Scalable Reliable Datagram)网络传输协议和 SIDR(Scalable Intent Driven Routing)数据中心路由协议,以最大化利用网络带宽并实现亚秒级的路由收敛,从而进一步扩大了数据中心网络的规模。基于 Nitro 创新带来的网络性能提升,结合新的数据传输协议和路由协议,亚马逊云科技成功建成了 UltraCluster 超大规模数据中心网络,支持 GPU 实例数量高达两万台,如果使用亚马逊自研的机器学习训练 Trn1 实例,甚至可以扩展到三万个 Trainium 加速器。
在存储方面,Nitro 平台同样表现出色。它支持单个虚拟机的最大 IOPS 达到 400K,存储带宽高达 100Gbps。此外,亚马逊云科技还重写了主机和闪存之间的闪存转换层算法,并将其运行在 Nitro 系统的一块芯片上,从而将 SSD 访问延迟降低了 60%,抖动减少了 75%。
当然,在云计算环境中,安全性始终是重中之重。亚马逊云科技的 Nitro Enclaves 提供了一个隔离的敏感数据处理环境,允许客户为自己的实例带来额外的隔离,并只能通过安全的本地渠道进行访问,从而确保了客户数据和应用的安全性。
架构体系创新拓展核心能力
在数字化浪潮的推动下,架构体系的创新已成为企业提升核心竞争力的关键。这种创新主要聚焦于韧性和弹性与效率两方面,它们是企业在复杂环境中持续发展的坚实基石。
首先,韧性是架构体系创新不可或缺的一环。与桥梁需应对天灾人祸相似,技术架构也需应对不可控的外部风险和管理不善导致的内部风险。以 Amazon IAM 为例,它通过控制平面与数据平面的分离设计,确保了服务的稳定运行,即使在极端情况下也能保持服务不中断。此外,Amazon IAM 在每个区域的数据平面都采用了单元架构,实现了高可用性和故障隔离,这种设计理念在亚马逊云科技的多个核心服务,如 Amazon EC2、Amazon EBS、Amazon Aurora 等中均有所体现。
其次,弹性与效率是架构体系创新的另一重要方向。弹性意味着系统能够迅速响应需求变化,通过快速扩展或缩减资源来应对不同负载场景。而效率则侧重于最大化资源利用率,减少浪费,提升整体性能。在这方面,亚马逊云科技推出了多项创新技术,如 Firecracker 轻量级虚拟化技术、Amazon Lambda SnapStart 快速启动功能以及 Caspian 智能资源调度系统。
Firecracker 基于 KVM 构建微虚拟机,能在极短时间内启动完全隔离的虚拟机,并通过多层隔离和保护机制支持多租户环境。其简约设计减少了攻击面,确保了系统的安全性。
Amazon Lambda SnapStart 则利用 Firecracker 的快照功能,对已初始化环境的内存和磁盘状态进行缓存,并在函数调用时从缓存中恢复,从而显著提高了启动速度。在使用 Lambda SnapStart 后,函数的冷启动速度能提升 10 倍,且无需修改任何代码。
在 Serverless 数据库领域,亚马逊云科技的 Caspian 技术实现了内存的高效共享和弹性管理。通过融合虚拟化管理、热管理计划和数据库引擎特性改写,Caspian 允许多个数据库共享同一物理机的全部内存,但每个数据库实际使用的内存仅限于其申请的大小。当物理机内存不足时,Caspian 能智能地将数据库实例迁移至其他物理机并扩容内存,确保 Serverless数据库的流畅运行和高效弹性。
多元技术融合驱动架构创新
随着现代应用对智能体验、可持续发展和合规等多元化需求的日益增长,应用架构的创新变得至关重要。多元技术融合,作为推动架构创新的关键动力,通过整合不同技术领域的优势,为构建更高效、更智能的解决方案提供了可能。
为满足企业多元化的需求,亚马逊云科技精心打造了一系列数据服务,涵盖关系型数据库、非关系型数据库、数据仓库,以及批式和流式的数据采集与分析服务。这些服务不仅满足了企业多样化的数据处理需求,还为企业提供了强大的数据支持。
值得一提的是,Zero-ETL 技术的出现进一步简化了数据处理流程,显著提高了数据处理的效率和准确性。亚马逊云科技已经推出了 6 项 Zero-ETL 能力,助力客户轻松实现数据同步和分析,从而提高业务效率和洞察力。
此外,优良架构体系(Well-Architected Framework)作为一套经过实践验证的架构设计方法,为企业提供了全面的架构评估和优化工具。该框架覆盖了安全性、可靠性、性能效率、成本效益和可持续性等多个方面,指导企业构建出健壮、灵活且高效的架构体系,以应对不断变化的业务需求和市场环境。
结语
作为云计算领域的领军者,亚马逊云科技始终秉持着创新的精神,不断推动着技术架构的演进和行业的变革。在亚马逊云科技发展的 18 年来,亚马逊云科技不仅展示了其强大的技术实力,更体现了对未来发展的深刻洞察和坚定追求。
正如代闻所言,亚马逊云科技正是通过不断优化基础组件、创新架构体系以及融合多元技术,实现了对云计算性能、安全性和可靠性的全面提升,为用户带来了前所未有的体验和价值。
相信,在生成式 AI 时代下,亚马逊云科技将继续秉承创新精神,不断推动技术架构的演进,以更加智能、高效、安全的服务,助力各行各业实现数字化转型和升级。