2024年云中AI工程的三大关键趋势 原创

作者丨Dan Rowinski

编译丨诺亚

在过去的 20 年，创新为我们造就了众多转折点，于这些转折点处，全新的职业类别得以应运而生。回想一下，2006 年亚马逊网络服务推出后，云端架构师与开发者的职位便顺势出现；伴随 iPhone 和 Android 的兴起，移动开发者成为了崭新的职业角色；当我们积累了充足的数据和计算能力，足以让神经网络运行时，机器学习工程师这一职业就此产生；而后，上述三种趋势相互交汇融合，数据科学家的职业开始引人注目。

这些新职业的诞生均是对新兴技术的直接回应，它们不但改变了工作的方式，还塑造了全新的行业标准与需求。每一轮的技术革命都会催生一批新的专家角色，他们凭借最新的技术去解决繁杂的问题，有力地推动了社会和经济的发展。

沿着这样的演变轨迹，我们当下或许已经抵达了另一个转折点：AI 工程师的兴起。在过去几年，AI 工程师日益流行，他们处在运用大型语言模型及其相关工具来构建生成式 AI 聊天机器人、Agent 以及其他能力的前沿位置。

随着基础模型和 AI 工程的逐渐成熟，一些趋势开始显露。我们与 SADA 公司的 Google Cloud 供应商、人工智能和机器学习副首席技术官 Simon Margolis 进行交流，以了解他们对于当前 AI 工程领域的观察以及后续可能出现的状况。

“这取决于你在生成式AI总体采用曲线上的位置，”Margolis说。“有些人还在试水，而有些人则在ChatGPT风靡全球之前就已经在做生成式AI工作了。你在这条发展路径上的位置，实际上深深影响着你所关注的核心趋势。”

总体而言，Margolis在2024年中期为AI工程师指出了三大关键趋势：

1）无代码构建AI Agent：即使不具备编程背景或专业技能，如今也能轻松创建AI Agent，技术的门槛正被逐渐抹平。    

2）传统AI与生成式AI的融合：不再是单一领域的探索，而是将机器学习与生成式AI等不同AI“模态”巧妙结合，创造出更加强大且灵活的应用场景。

3）AI自我迭代：利用生成式AI助力生成式AI Agent的构建，这一循环增强的过程，使得AI的进化更为高效与智能。

1.无需代码构建AI Agent

两大生成式AI平台——Google Cloud和OpenAI——都致力于让AI工程师能够更轻松地构建AI Agent，而无需过多纠结于基础模型或向量数据库本身。两者都引入了用于构建Agent的工具，Google Cloud的Vertex AI中的Agent Builder，以及OpenAI的GPT系列。

"对于早期的尝鲜者而言，最显著的趋势之一便是无需深厚技术功底就能打造生成式Agent，" Margolis提到。"以往，你得精通Transformer和RAG等技术细节，但现在，这种需求大大降低了。”

他强调，虽然仍有极客在手造Agent，但Agent Builder和GPTs已成为主流工具，广泛应用于实践。

简化技术要求，让构建Agent变得触手可及，这不仅激发了创新，还赋予了一线业务人员自行搭建Agent的能力，减少了对专业开发者的依赖。

Margolis解释说：“简单来讲，你从各种来源——可能是私有数据库、互联网或是两者的结合——提取信息，然后利用这些数据指导AI工具或生成式助手的工作。”这与过去一两年流行的LangChain模式相似，即通过不断迭代提升输出质量，直至达到预期效果。不同的是，如今这个过程变得更加直观易懂。

借助Agent Builder和GPTs这类工具，即便是非专业人士也能轻松上手，仅凭日常语言或直观操作界面就能完成任务，使解决方案的实施变得更加直接有效。

2.融合传统AI与生成式AI

结合不同AI“模态”的想法可能对AI工程师来说更具实际兴趣。值得注意的是，当Margolis谈论模态时，他指的是我们可能认为的“传统”机器学习与新型基础模型和生成式AI之间的区别。这不同于生成式AI内部的模态概念，在那里输入和输出取决于媒介，如文本、音频、视频或翻译。

当Margolis提及“模态”时，他实际上是在区分传统机器学习领域与新兴的基础模型及生成式AI技术之间的工作方式和特性。换句话说，“模态”指的是不同类型的AI处理方式或技术路径。对于AI工程师而言，如何有效地结合这些不同的“模态”以创造更强大、多功能的AI系统是一项挑战和机遇。   

“以往人们要么在生成式AI领域工作，要么在围绕推断和预测的传统机器学习世界里工作，但现在我们开始看到这两个领域的融合。”

Margolis强调，生成式AI的运用不必依赖于专门的AI代理或聊天机器人构建。他举例说明，在医疗保健领域，AI能以生成文本的方式整理和展现由医护人员录入的患者信息。随后，集成有推理功能的AI工具会在同一系统内分析这些信息，识别潜在的高风险病例。

回顾过去，Margolis解释道：“若要开发类似医疗案例的应用，我得求助于懂模型搭建的ML专家同事，他们可能得用JAX或TensorFlow帮我打造预测模型，还得亲自操作GPU硬件，整个过程牵涉繁重的ML工程和数据科学任务。”而今，借助生成式AI，他可以直接将所需数据输入到预训练模型中进行处理，这一转变要求截然不同的专业技能。

为了缩小传统机器学习与生成式AI间的鸿沟，诸如Google Cloud的Vertex AI平台之类的工具应运而生，SADA作为其优选合作伙伴，正致力于此。Margolis指出：“现在，工程师可以利用Vertex轻松创建AutoML模型。虽然这不是完全无代码的体验，但大大减少了编码需求。无需从头构建模型，无需编写TensorFlow或JAX代码，也无需管理GPU或底层系统架构。”

这样的进步意味着工程师们可以更加专注于应用层面的创新，而非被底层技术细节所束缚。

3.利用生成式AI来构建更多的生成式AI

尽管我们离计算机自我组装并自动编程的时代尚远，但AI工程界的一项引人注目的进展是，生成式AI正在助力构建更多同类型的AI实体、机器人以及应用程序。这是一个循环促进的过程，正如Margolis所说，它开启了广泛的参与机会。

“这确实是一个突破性的模式，让更多人有机会投身其中，”Margolis评论道。

他将此现象与云计算领域近十至十五年来的重要转折相提并论，尤其是2010年左右，开发者首次能够在云中便捷地部署虚拟机；再到2014年前后，移动应用的开发门槛显著降低，使得更多人得以加入。

“这就像我们在公有云时代所见证的‘啊哈’时刻，”Margolis回忆道，“当每个初学计算机科学或系统设计的学生，大约在2010年左右，都能独立搭建服务器和数据库时，那真是让人振奋。对于想要涉足AI领域的新人，一年半前还面临着一座难以逾越的高山。那时，你需要投入大量的时间和精力才能将你的构想变为现实。而现在，我们已处于一个创意即实践的阶段，有时，你甚至能在一顿午餐的时间内就完成一项初步作品。”   

“如今，入行的障碍已被大幅削减，这对于所有人来说都是一大利好。”这意味着，生成式AI技术的探索和应用正变得越来越普及，为创新和实际应用开辟了更广阔的空间。

参考链接：https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/ 

本文转载自​​51CTO技术栈​​，作者：诺亚