摘要
当前，各行各业正在构建机器学习能力，以实施或增强其数字业务场景。我们认为，现实中企业所实施的机器学习项目存在较高的失败率，主要的失败模式可以归纳为以下十类：设立了错误的目标、忽视业务原则、资金和资源投入不当、急于求成、项目路线图有较大缺陷、项目缺乏治理、采用了错误的技术平台和路线、对场景所需的数据缺乏了解、数据质量不高、人才培养计划与实际的需求偏离。
本文分析了这些失败因素如何对机器学习项目产生了较大的影响，以及如何通过一套最佳实践来规避这些问题。
在本文中，我们以PAM公司为例，采用端到端的方法，从业务能力矩阵出发，逐步确定业务、应用、数据和技术解决方案，通过这个例子，我们阐述了如何规避以上问题的有效方法，以及如何通过架构的演进方法来持续关注和采用最新的AI技术。
这个分析过程和解决方案适用于多个行业，尤其是制造业，包括B2C 和 B2B 业务模式，它涵盖了基于深度学习、联邦学习、大规模以及相关的行业问题。
问题陈述
企业不断寻找机器学习相关的解决方案的目的是来带来价值，很多是现有ML服务的用例，例如产品推荐、MFA人脸识别和停车服务的车牌识别、使用ChatGPT提供客服等等。
然而，现实当中，企业往往会步入失败模式而导致一系列挑战，以下对此做出归纳：
一：设立了错误的目标：某些技术在某些任务中可以替代人类工作，但实际上，由于AI需要大量数据进行训练，需要许多人力进行数据收集和预处理，并且一旦有疑问，需要更多的人来调整和诊断系统，因此节省人力成本的目标难以实现。
二：忽视架构原则：加快生产，节约成本，导致质量损失或者产生安全隐患，以及对当地环境的破坏;滥用机器学习技术，出现客户等敏感数据外泄;出现违反道德风俗甚至法律问题的行为，例如不当利用隐私数据进行欺诈、引起社会偏见或歧视等问题，降低客户的信任度，降低企业品牌价值。
三：资金和资源投入不当：投入的资金过少，能力的培养没有长期的目标，不能满足开发和二部署AI平台和能力建设的需求，导致能力的缺陷，长期不能看到期望的产出。
四：急于求成，缺乏系统性规划：企业将机器学习模型设置为短期投资，过快地追求投资成果，而无法有效地了解和利用机器学习模型潜在的知识和技能，影响投资结果。
五：错误的项目路线图：企业在没有有效地对目标需求进行分析和规划的情况下，启动了一些项目举措，例如，将时间和资源花费在数据收集和框架建立等可能无效的任务上。
六：项目缺乏治理：无法及时发现原则及合规性的偏离，没有用有效的度量手段检查项目是否能够实现既定的目标和需求，没有动态跟踪最新趋势并实施相关的技术。
七：人才培养计划与实际的需求偏离：企业在能力规划不明确的情况下盲目开启人才培养计划，从而导致培养出的能力结构不能满足和适应业务的要求，使项目受到较大的影响。
八：采用了错误的技术平台和路线。采用的技术平台不符合技术趋势和发展情况，没有根据自身的需求对机器学习模型有深入的研究和理解，尤其在B2B集成等复杂的情况下，所选技术不符合整体的IT环境，从而导致投资效果不佳、甚至项目失败，或者被迫更改技术路线，带来时间和投入的损失、并且付出机会成本。
九：对场景所需的数据缺乏了解：缺乏足够的有价值的数据，不能支撑人工智能系统运算，从而导致系统不能达到设想的效果。
十：数据质量不高：企业缺乏有效的数据治理，数据的质量不高，无法满足通过机器学习实现业务场景的需求。
我们认为，采用一套成熟的架构方法可以有效地规避以上问题。
我们从分析企业的业务战略、价值流及架构原则出发，着重解决以下问题：要解决的业务问题是什么?如何创造端到端的价值?业务和IT能力的差距在哪里?成本和收益是什么?路线图是什么?什么是正确的技术解决方案?
解决这些问题涉及企业架构方法和应用技术能力做出一系列决策。我们想通过一个例子阐述这个过程。
机器学习能力建设示例
这是一个制造业案例。
场景：棱镜合金机械(Prism Alloy Machinery – PAM)公司是一家制造合金材料设备的公司。客户来自世界各地，其中大部分客户直接使用PAM的维修服务。
三年前，PAM公司逐步更新了业务战略，其中包括：使用机器学习技术为客户带来更多价值并降低运营成本。
在经历了多次的失败之后，PAM公司在业界最佳实践的启发下，采用了以下措施，确保了能力建设沿着正确的方向前进。以下是CIO和企业架构师团队采取的步骤：
CIO授权架构师团队启动该计划，并且制定一个完备的计划来转变企业架构。该项目的代号是“Smart Work”。
第一、回顾和更新架构原则
这些原则涉及了业务及IT层面，其中包括：遵守法规及道德风俗;严格保护隐私数据;质量第一;安全生产;保护企业商誉。随后的价值流分析、需求分析、架构设计等工作都必须遵守这些原则。
其中一个原则要求技术解决方案必须确保可靠和高效的生产。根据这项原则，架构师团队把 MLOps 列为首选的技术架构。
此外，该原则还包括以下内容：追踪技术趋势，在不违背目标的前提下采用合适的技术路线。为了保护客户数据，PAM公司采用了联邦学习平台来支撑其设备维修场景就是运用架构原则来设计技术方案的一个具体的实例。
第二、进行价值流分析，确保资金和资源的投入能够带来最大的收益
通过检查价值流，他们发现，设备维护服务贡献了 30% 的营收，其次是备件销售，贡献了16%的营收，两者相加达到了46%的收入，超过了设备销售。
架构师团队和运营团队展开了一系列的研讨后，逐步确定了一个需求目录，他们把这一类服务归类为“智能维护服务”，核心需求包括：使用人工智能技术和物联网数据来降低维护成本和生产中断。这种分析能够有效规避资金和资源投入不当的问题，并且有助于制定出相对准确的预算。同时，也对人员和平台的能力设定了具体的需求。
以下是架构师团队倡议的需求目录的一部分：
第三，运用从业务需求到数据架构、应用架构、技术架构的架构分析方法
接下来，通过差距分析，架构师团队更新了应用、数据架构，这时便得出了具体的技术要求：通过更准确的零件故障预测、更短的离线检查时间、减少零件更换频率、快速响应事件等优化服务计划。同时，要求在大规模和连续生产中确保零件寿命，以确保运营的经济性、并且具有较低风险。
紧接着，架构师团队提出了一个可行的技术架构(参见图1)。
图 1 机器学习训练架构
图中，IoT 数据来自传感器。在算法应用层面的要求包括：故障模式是什么?磨损、压力、振动、负载、频率、电压、温度等如何导致故障?
它需要两个关键能力：数据科学和持续优化模型、算法和应用程序的机制。
这些问题是典型的IFD(Intelligent Fault Diagnosis)问题，数据科学家团队选择了基于深度学习模型，主要考虑的因素包括：运行的设备及IoT数据的规模;数据集的稀疏度;数据源的分布等等。
作为增强功能，数据科学家还尝试建立了无监督学习机制，以找出功能与故障模式之间的未知关联。
在数据方面，架构师团队也规划了数据治理的举措，提高相关数据的质量。
第四，运用确立的架构，建立实施路线图
在这个步骤当中，最核心的当属确立速赢场景的相关项目。
为了避免急于求成，PAM公司采用了企业架构的规划方法，但这并不代表对时间目标的忽视。通过规划速赢场景，可以以最小的代价、以最快的时间对架构的设计进行验证，给用户以及企业的决策者以信心、确保后续资源的投入，避免短期投资的误区。
在实施工程化平台之前，项目以MVP的形式交付阶段性成果。
第五，实施包括工程化平台、技术团队建设等举措
工程化的目标是利用一个成熟的AI平台，建立数据标记(各种故障或风险情况)和模型训练的机制，以及应用解决方案：服务规划、报告和错误趋势分析。
基于云的平台是不错的选择，其中许多平台为特定行业应用提供了现成的解决方案，例如百度的行业应用解决方案。但这些产品不符合 PAM的解决方案。 AI团队需要一个具备物联网、大数据计算、数据挖掘、AI模型开发、部署和维护等PaaS能力的平台(见图2：工程化机器学习平台)。
图2 工程化机器学习平台
可选的有ai.baidu.com、Azure AI Platform、ai.tencent.com、华为HiAI等。
此外，还要根据EA方法论建立迭代的需求管理、解决方案、项目计划、变更和执行框架。
以上，从业务、应用、数据、技术及团队等诸多方面，对机器学习的能力进行了规划。这些规划可以确保时间和资源花费在有效的任务活动中。
第六：运用架构治理方法对项目进行监控和治理
确立度量手段，定期检查项目是否能够实现既定的目标和需求，有没有动态跟踪最新趋势并实施相关的技术，有没有违背架构原则、以及违背数据保护、遵守法律及道德规范等业务原则。
Smart Work项目关键技术选项的确立过程
在与关键利益相关者审查这些解决方案时，服务总监提出了一个关键问题：解决方案的许多机制都要求客户共享他们的数据，因为涉及关键业务信息，这是不可能的。这是任何资本货物商业模式的普遍问题，特别地，这也关系到可能违反数据隐私相关的架构原则。
这个问题可以通过项目变更来解决，这个过程仍然可以通过架构治理的方法来完成。架构师团队把最初的解决方案被归类为“内部解决方案”，并通过变更增加了新的解决方案，即，利用联邦学习解决B2B业务场景下用户数据保护方面的问题。
具体地，联邦学习是一种没有集中训练数据的协作机器学习。它在保存本地数据样本的服务器的多个分散边缘设备上训练算法，而不交换它们。它允许多个参与者在不共享数据的情况下构建一个通用的、强大的机器学习模型。
图 3 基于联邦学习的解决方案
从行业的角度来看，该技术特别适用于机器学习依赖于难以提取的数据的情况，以及由于数据隐私、数据安全、数据访问权限等关键问题以及数据传输带宽等技术难题。此类情况包括：
- 医疗机构需要从其他机构拉取数据以收集他们需要的所有信息。
- 电梯制造商需要在不从客户那里获取数据的情况下，从电梯中找出各种子系统或组件的故障模式。
- 市政部门需要训练模型来调整交通灯控制系统以实现更高的交通吞吐量，但传输汽车和乘客的视频流消耗的带宽超出了该部门的承受能力.
此外，企业可能会碰到一些除数据隐私之外的其他问题，这些都适合采用基于联邦学习的解决方案：
- IT 方面的限制：需要昂贵的基础设施改造费用，例如计算能力、大型数据集传输成本等。
- 技术债务：在传送物联网数据时，发现在现有物联网环境中发送和接收大量训练数据是一个巨大的挑战。
联邦学习的其他应用方向包括：
电梯维护服务：发掘服务管理中的风险模式;发掘故障与参数之间的关联关系，例如：振动、负载、频率、电压、温度等。
汽车导航服务：如何使软件智能化，具有不同季节、节假日、星期几、一个月中的哪一天、一天中的时间段规划路线的能力，等等。在这种情况下，数据隐私问题也是一个主要关注点。
Smart Work项目其他技术选项的探索
为了追踪最新的技术方向，PAM公司的架构师团队考察了包括ChatGPT在内的大模型AI在制造业中的使用，他们认为大模型AI技术可能在以下的业务中得到运用。以下可能会引起架构的变更：
1.故障诊断: 使用基于大语言模型的赋能系统可以帮助对复杂制造系统的故障进行诊断并扩展相关的知识。
2. 产品质量问题诊断: 使用基于大语言模型的知识库可以诊断出可能出现质量问题的起因，并根据质量问题提供建议和思考，从而有效地解决质量问题。
3. 优化制造过程: 使用大模型可以帮助在原有制造流程基础上，改进和优化每一步工作流程，有助于提升生产设备的运行效率和质量。
4. 设备自动化: 使用大模型参数分析可以帮助快速识别设备的运行状况，检测出设备发出过的警告，便于有效地进行设备的自动化管理和控制。
此外，虽然ChatGPT技术刚刚得到了业界的认识，私有化部署大模型AI也可能是一个不可忽视的技术路线：通过改进深度学习模型，私有化预训练大模型是一个可行的选项，用来处理特定业务需求，即，使用利用企业私有预料训练、或者提示行业通用的大语言模型来对工程师进行技能培训等等。
总结
对于各行各业，机器学习形成了重要的数字化转型能力。在许多情况下，企业会误入一些失败的模式当中。
本文结合印孚瑟斯的实际案例，介绍了采用企业架构方法来规避常见失败模式的一系列步骤：根据业务原则确立架构原则;进行价值流分析，确保资金和资源的投入能够带来最大的收益;运用从业务需求到数据架构、应用架构、技术架构的架构分析方法;运用确立的架构，建立实施路线图;实施包括工程化平台、技术团队建设等举措;运用架构治理方法对项目进行监控和治理。
这个过程包括分析业务能力矩阵、创建需求和其他业务文档、识别差距、设计数据、应用程序和技术架构、选择技术方案等等。通过这个过程，架构师团队将相关的价值流分解到流程、角色、需求、应用、数据及技术能力和方案级别。
随着架构设计的迭代，更多的业务或 IT 问题被识别出来，从而产生了一组最能解决问题的技术方案。其中，一个备选的技术路线是采用利用企业和行业预料训练和提示的大模型AI技术。
作者介绍：
沙睿杰 (Rajnish Sharma)
印孚瑟斯(Infosys)全球副总裁兼中国区销售与交付及运营负责人
沙睿杰负责Infosys在华整体业务运营，领导全球和本地客户服务交付，提升客户满意度。此外，他还负责Infosys大中华区团队的人才管理和能力建设。凭借对云、人工智能和自动化主导的数字服务的热情，他领导的团队致力于提供以数字化敏捷和自动化为主导的服务，帮助客户完成转型之旅。
王宣
印孚瑟斯(Infosys)首席技术架构师, Infosys中国区战略技术组负责人
王宣负责Infosys在中国的架构师团队。这个团队的目标是在企业、解决方案和技术层面发展和优化架构能力。该团队在不同阶段支持我们的服务交付业务——包括IT规划、应用程序、数据和技术解决方案、架构治理等。该团队专注于数字化转型和企业现代化旅程、云迁移、数据分析、大规模、机器学习、Web3 和区块链等尖端技术的应用。
