不到两年时间，自从ChatGPT发布以来，各大企业对在其运营和产品中使用GenAI表现出浓厚兴趣。由Dataiku和Cognizant进行的一项新调查对全球200名企业公司高级分析和IT领导者进行了民意调查，结果显示，大多数企业正在花费大量资金来探索GenAI的使用案例，或者已经将其投入生产。
然而，全面采用和提高生产力的道路并非没有障碍，这些挑战为提供GenAI服务的公司提供了机会。
GenAI的重大投资
在VB Transform大会上公布的调查结果突显了对GenAI项目的大量财务投入，近四分之三(73%)的受访者计划在未来12个月内在GenAI上花费超过50万美元，近一半(46%)的受访者分配超过100万美元。
然而，只有三分之一的受访企业有专门用于GenAI项目的预算，超过一半的企业从其他来源(包括IT、数据科学或分析预算)为GenAI项目提供资金。
目前尚不清楚向GenAI投入的资金如何影响原本可以从预算中受益的部门，这些支出的投资回报率(ROI)也尚不明确，但人们乐观地认为，随着大型语言模型(LLM)和其他生成模型的不断进步，附加值最终将证明这些成本是合理的。
“随着更多LLM使用案例和应用程序在企业中出现，IT团队需要一种简便的方法来监控性能和成本，以最大限度地发挥投资的价值，并在出现重大影响之前识别出问题的使用模式。”研究的一部分内容写道。
Dataiku之前的调查显示，各大企业正在探索各种应用，从提升客户体验到改善内部运营，如软件开发和数据分析。
实施GenAI的持续挑战
尽管对GenAI充满热情，整合并非易事。调查中的大多数受访者报告称，在按照他们希望的方式使用LLM时遇到了基础设施障碍，此外，他们还面临其他挑战，包括遵守区域立法(如欧盟AI法案)和内部政策的挑战。
生成模型的运营成本仍然是一个障碍。Microsoft Azure ML、Amazon Bedrock和OpenAI API等托管的LLM服务在企业内部探索和生产GenAI时仍然是受欢迎的选择，这些服务易于使用，并且避免了设置GPU集群和推理引擎的技术困难，然而，其基于令牌的定价模型也使得CIO难以在规模上管理GenAI项目的成本。
另外，企业可以使用自托管的开源LLM，这些模型可以满足企业应用的需求，并显著降低推理成本，但它们需要前期投入和许多企业没有的内部技术人才。
技术堆栈的复杂性进一步阻碍了GenAI的采用。令人震惊的是，60%的受访者报告称，他们在分析和AI生命周期的每个步骤(从数据摄取到MLOps和LLMOps)中使用了超过五种工具或软件。
数据挑战
GenAI的出现并没有消除机器学习项目中现有的数据挑战。事实上，数据质量和可用性仍然是IT领导者面临的最大数据基础设施挑战，45%的受访者将其列为主要关切，其次是数据访问问题，有27%的受访者提到这一点。
大多数企业都拥有丰富的数据资源，但他们的数据基础设施是在GenAI时代之前创建的，并没有考虑到机器学习的需求。数据通常存在于不同的孤岛中，并以不兼容的格式存储。在用于机器学习之前，需要对数据进行预处理、清理、匿名化和整合。数据工程和数据所有权管理仍然是大多数机器学习和AI项目的重要挑战。
“即使拥有今天可用的所有工具，人们仍未能掌握数据质量(以及可用性，即数据是否适合其目的并符合用户需求)，”研究报告中写道，“讽刺的是，现代数据堆栈面临的最大挑战实际上并不是那么现代化。”
挑战中的机遇
“现实是，GenAI将继续转变和演进，不同的技术和提供商会来来去去。IT领导者如何在参与游戏的同时保持对未来的敏捷性?”Dataiku的现场CDO Conor Jensen说，“所有人都在关注这个挑战——加上不断攀升的成本和其他风险——是否会超越GenAI的价值产出。”
随着GenAI从探索性项目逐步转向可扩展运营的底层技术，提供GenAI服务的公司可以通过更好的工具和平台支持企业和开发人员。
随着技术的成熟，将有很多机会简化GenAI项目的技术和数据堆栈，减少集成的复杂性，帮助开发人员专注于解决问题和提供价值。
企业即使尚未探索GenAI技术，也可以为GenAI技术的浪潮做好准备。通过运行小型试点项目和试验新技术，企业可以发现其数据基础设施和政策中的痛点，并开始为未来做准备，同时，他们可以开始培养内部技能，以确保拥有更多选择，并更好地利用技术的全部潜力，在各自行业中推动创新。
