【51CTO.com快译】根据调研机构Forrester Research公司最近发布的一份调查报告,机器学习(ML)对于企业的业务获得成功至关重要。98%的IT领导者认为,机器学习运维(MLOps)将为自己的公司带来决定性的竞争优势。但是,只有6%的公司认为其机器学习运维(MLOps)功能已经很成熟,并且可以从中受益。
机器学习(ML)和机器学习运维(MLOps)到底是什么?
为了找到答案,先从术语的定义开始。机器学习(ML)是一种可以在不需要人工干预的情况下从数据中学习的人工智能。致力获得成功的企业正在使用机器学习(ML)来优化其业务的各个方面:提高员工生产率、提高客户满意度,以及增加收入。
虽然数据量在过去几年中几乎呈指数级增长,但使用机器学习(ML)组织和分析数据的能力却明显滞后。这成为了一个挑战。而面临的一个更大的挑战是将机器学习(ML)模型运用到生产环境中,使应用程序变得更加智能。Forrester公司在调查中发现,只有14%的受访者将机器学习(ML)模型运用到可重复且可靠的生产环境过程中。
许多企业正在采取的一种方法是采用机器学习运维(MLOps)。机器学习运维(MLOps)是数据科学家和运营团队在机器学习生命周期中进行协作和通信的实践。在许多方面,机器学习运维(MLOps)正在努力获得与DevOps在敏捷软件开发中实现的机器学习生产率、效率和质量优势。
只采用机器学习运维(MLOps)并不能解决企业尝试实施机器学习(ML)所面临的问题。而这是第一步,也是重要的一步,但还需要更多工作。成功采用机器学习(ML)能力的企业已经通过关键流程、工具和持续改进实践来加强机器学习运维(MLOps)。其中一些实践听起来很熟悉,因为它们直接来自工业制造行业中的经验和教训。
精益制造的6个精髓
50多年来,全球制造企业一直采用六西格码和精益制造技术来解决质量问题。如今,很多企业正在使用其中一些技术来从其数据中创造价值,并在本质上正在成为信息化工厂。
(1)自动化(Jidoka)
自动化在现代生产工程中起到至关重要的作用——提高产品质量、生产率和吞吐量。Jidoka这一日语术语描述的是具有人类智能的自动化,使机器设备和操作人员能够在发现问题时停止工作,然后立即解决问题,而不必等到生产线停止运行或生产结束。
自动化(Jidoka)的概念可以为分析生产线做同样的事情。具有自动化(Jidoka)功能的自助服务可以为机器学习(ML)流程中涉及的每个角色提供基础设施、工具和数据需求。这种类型的自动化可以提高效率并确保符合标准。其结果是,不再浪费时间等待访问合适的环境或尝试配置从互联网下载的新工具。机器学习过程的每个阶段都可以自动调度,从而使整个系统可预测且高效。
(2)工具(Tooling)
工具在现代生产设备中起着基础性的作用。明智地使用工具可以帮助实现规模化。它可以减少所需的员工技能,同时提高质量,缩短实现价值的时间,提高生产率和速度。
如今的信息工厂需要一系列工具来适应每个角色,并满足生产的每个阶段的需求。随着新的、更具挑战性的业务问题得到解决,将需要新的工具。这就引出了信息化工厂的下一个基本要素:研发实验室。
(3)研发实验室(Research and development lab)
直到现在,大多数机器学习(ML)工具几乎都只专注于模型开发,但这种情况正在发生变化。新的机器学习(ML)工具解决了操作流程和模型生命周期管理。这些新工具可以提高机器学习(ML)模型的效率,并支持下游操作、标准规范和模型治理。
使用研发实验室,数据科学家可以在安全和可管理的环境中评估新工具,记录最佳实践并评估潜在收益。一旦被更广泛团队使用,新工具就可以集成在应用程序目录中,该目录可在自助服务提供过程中使用。
(4)改善(Kaizen)
Kaizen这一日语术语的意思是为了更好或不断改进而进行的更改。它更像是一种哲学而不是一种工作实践,它可以确保更高质量,消除浪费,提高效率。
随着越来越多的企业开始扩展其数据科学能力,将会出现新的需求。这些可能包括更多标准化或自动化流程的机会。
信息化工厂和相关团队(包括DataOps、数据科学、MLOps、DevOps、运营和商业智能)中工作的集成性使其适合改善(Kaizen)实践。每个人对面临挑战都有不同的看法,因此,应该鼓励他们不断评估如何改进信息化工厂的流程。
(5)供应链(Supply chain)
多年来,制造商通过使用准时制(JIT)方法进行零件交付来优化他们的供应链。准时制(JIT)将库存保持在最低水平,并消除了将零件移入和移出库存的时间和精力。
信息化工厂需要以相同的方式处理数据。尽管大多数企业在多个数据仓库、操作性数据存储和数据池中都有大量的数据,但是发现和访问有用的数据通常是第一个挑战。在许多情况下,数据科学家需要数据工程师帮助复制大型数据集,因为需要读写访问来转换数据,并使其适合于机器学习(ML)模型的构建。这种延迟与理想的准时制(JIT)相比还相差甚远。
在机器学习(ML)竞赛中获胜的企业将关注数据供应链,提供全面的数据目录和业务术语表。他们还定期评估和报告数据质量。大多数还使用只读快照,而不是复制数据。现在,许多人开始探索特定的机器学习(ML)特征存储,通过标准化数据的准备方式极大地加快了模型开发。
(6)防错(Poka-yoke)
最后一个是Poka-yoke,这一日语术语的意思是防错。手机中的SIM卡就是一个很好的例子,制造商将SIM卡去掉一个小角,以防止错误插入。
防错(Poka-yoke)有助于防止缺陷的发生。这种类型的防错是以上描述的持续改进过程的一部分(Kaizen)。虽然防错措施的想法有些琐碎,但是想象一下如果把它嵌入到人们接触到的每个过程中,随着数据科学家使用更加自动化的工具实施更复杂的任务,防错措施将显现出其宝贵的价值。
通过流程、工具和人才使机器学习(ML)获得成功
机器学习(ML)和机器学习运维(MLOps)对于企业的业务成功至关重要,然而大多数企业都未能实现他们的目标。解决这一挑战的第一步是实施机器学习运维(MLOps)。然而,只依靠机器学习运维(MLOps)是不够的。通过获得以上六种行之有效的精髓,企业可以从数据中创造价值,从而获得更大的成功。
原文标题:Becoming an ML information factory – 6 lessons we can learn from lean manufacturing,作者:Doug Cackett
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】