如果IT和业务领导者能够将AI项目与业务目标挂钩,并为成功设立衡量标准,他们可以识别哪些实验未达到预期目标,从而在成本增加前及时终止项目。
许多正在进行AI试点的企业不可避免地会遇到一个关键的IT难题:何时停止一个项目并继续前进。如果他们过早终止一个未达到预期的试点项目,可能会错失未来的巨大收益,但如果坚持得太久,则可能浪费大量时间、金钱和资源。
一方面,Forrester最近警告企业不要过早期待AI的投资回报,因为这可能会让他们错失AI带来的好处。
然而,AI并不便宜,无法产生价值的试点项目可能会成为资金黑洞。例如,Gartner指出,一个基于检索增强生成(RAG)AI的文档搜索项目部署成本高达100万美元,每位用户每年的维护费用可达1.1万美元,而从零开始构建的大型语言模型(LLM)AI项目,如医疗、保险或金融领域的项目,成本可能高达2000万美元。
当然,Gartner的数据显示,近年来AI试点的成功率有所提高。2022年,几乎一半的AI试点项目未能进入生产阶段,而分析机构预计,明年只有约30%的AI项目会失败。
尽管如此,30%的失败率仍然代表了大量时间和资金的浪费,考虑到如今AI实验的普及程度,这一问题尤为严重。安永在7月发布的一项调查显示,95%的高管表示他们的企业正在投资AI。
那么问题就变成了:CIO或首席AI官何时应该判断一个AI项目需要终止?虽然没有一种放之四海而皆准的答案,但AI专家认为IT领导者可以采取一些步骤,确保保留那些有意义的AI项目,放弃那些不适合的项目。
定义成功
AI顾问、前SAP AI部门副总裁兼营销主管Andreas Welsch表示,IT领导者在启动AI试点项目时的首要步骤之一是定义成功的衡量标准——不仅仅是投资回报(ROI)——并设定检查进展的时间节点。
Welsch说:“挑战在于,人们总是期望下一个突破就在眼前,所以不愿意停下来。很多时候,人们没有设立明确的目标。”
例如,AI项目的一些关键绩效指标(KPI)可以包括:客户满意度提升10%,将填写投标请求(RFP)的时间减少30%,或者每月支付发票的时间减少四小时。
在预定的检查点,IT和业务团队可以评估这些目标的进展情况。如果项目未能达到这些衡量标准,团队可以决定是终止项目还是给予更多时间。如果客户服务机器人将满意度提高了7%而不是预期的10%,也许仍然值得继续投资。
然而,Finastra银行技术公司的首席AI官Adam Lieberman补充道,有时企业可以从不明确的开端中恢复过来。有时CIO或CAIO可以通过定义一个可行的路线图帮助濒临失败的项目重新走上正轨。
他说:“当目标不明确时,项目会失去方向并逐渐解体,这是项目无法奏效的最早信号,但这也是一个重新聚焦并设立更具体目标的早期机会。”
Kotter International的首席增长与商务官Kathy Gersch补充说,设定关键绩效指标(KPI)的一个挑战是如何衡量结果。举例来说,衡量客户情绪可能并不困难,但衡量员工通过使用AI助手编写邮件所节省的时间则较为难以量化。
“许多这些不太容易量化的因素也会带来投资回报(ROI),”她说,“如果你没有衡量所有这些因素,仅凭‘我们没有获得预期的ROI’就过早放弃一个项目,可能会错失机会。”
与业务需求挂钩
除了明确的KPI,企业还应将AI项目与具体的业务需求挂钩,Welsch补充道。有时,企业启动AI项目似乎只是为了“使用”这项技术,然而,成功的项目应该解决企业的实际痛点。
“我们要解决的业务问题是什么?”他说,“你应该与业务相关方紧密合作,最好在项目开始时就明确:‘我们试图解决的是什么问题?’”
Gersch补充说,许多被放弃的AI项目没有满足这个基本要求。
“如果你让一个‘边缘团队’独立进行AI项目研发,但没有与业务联系起来,那就很难让这个项目被广泛采用,”她说,“这就是为什么有些项目可能会过早或过晚被放弃,因为它们实际上并没有与业务需求真正挂钩。”
虽然Gersch建议将AI项目与业务目标挂钩,但她也鼓励进行实验。当一个项目与业务目标挂钩时,员工更有可能接受并使用它。
“一旦你能够让人们真正采纳AI并充分利用它,你可能会学到更多关于AI的潜力。”她说。
限制损失
启动AI项目的一个方法是设定有限的时间框架,Aible(AI解决方案提供商)的CEO Arijit Sengupta表示。他说,在许多情况下,Aible与其客户会在两天内共同决定项目是否可行。
虽然设定衡量标准很重要,但Sengupta补充道,IT和业务领导者也不应过分拘泥于必须达到的具体目标。有时,最初设定的目标过于宏大,或者并不符合业务的实际需求。
“你可能一开始想象的是你想要什么,比如说,‘如果你给我一辆会飞的车,我会很喜欢,’”他说,“然后六个月后,有人带来了一辆不完全会飞的车,你可能会说,‘这不是我想要的。’但实际上,那并不是你真正需要的,你真正需要的可能是更快的船。”
他补充道,持续六到九个月的AI试点项目可能很危险。“如果你要放弃项目,最好不要在九个月后放弃,因为这时你可能会陷入沉没成本谬误,人们会努力想方设法让它奏效,投入了大量的精力。”
Finastra的Lieberman补充说,一些失败的项目并不完全是损失,在某些情况下,暂停项目可能比完全放弃更好。
“需要注意的是,失败是创新过程中不可避免的一部分,”他说,“AI领域的进展非常迅速,这就是为什么暂停项目比彻底放弃更好,因为新的能力和技术不断涌现。”