亚马逊云科技:借数智融合之力,驱动企业创新

原创
云计算
亚马逊云科技推出了“云、数、智三位一体”的数智融合服务,帮助全球数十万的用户通过利用大数据和AI技术助力业务发展。

数字化转型是千行百业的必然发展趋势,且已经进入到了向各行各业全流程、全环节整体渗透的时期。大数据和人工智能深度融合,即数智融合,成为了企业数字化转型历程中最核心、最重要的能力。

数智融合,顾名思义,其关键因素是大数据技术和机器学习技术。大数据技术所提供的能力是机器学习建模所需要的必然基础。同时,机器学习也能够为大数据技术提供更高的智能,为商业业务产生价值。所以从用户逻辑来看,大数据技术和机器学习技术本身互为因果。

众多企业在利用数智融合加速驱动企业创新的过程中,面临着一系列的挑战。亚马逊云科技依据多年的企业服务经验,将这些挑战总结为以下三点:

第一, 数据和机器学习分而治之,数据及技术孤岛制约敏捷迭代;

第二, 数据处理能力不足。在生产制造企业,机器学习帮助客户对产品售后维修需求进行预测,由被动响应变为主动规划。但由于不具备足够的大数据处理能力,模型开发成功后,不能够有效收集处理海量的运营数据,致使预测不准确,无法达到预期业务目标;

第三, 数据分析人员参与度低。现实情况经常是,模型在实验环节效果良好,但实际使用中却不尽人意,实验环境只是对真实环境的简单模拟,生产环境要复杂得多。

针对以上挑战,亚马逊云科技认为,企业应当在云中打造统一的数据基础底座,来实现大数据和机器学习的双剑合璧,为企业发展提供新动力。具体来说,企业应当首先建立统一融合的治理底座,如数据质量、数据权限、数据开发、数据工作流、可视化。其次,大数据和机器学习之间应该是高效充分的双向互动,互为支撑,互为因果,形成正向循环。

实现数智融合所需的三大核心能力

为了实现数智融合,企业需要构建若干核心能力。亚马逊云科技大中华区产品部总经理陈晓建将其总结为三点。

亚马逊云科技大中华区产品部总经理陈晓建

首先是统一数据共享,让数据资产化,打破数据孤岛。一个好的、合理的大数据和机器学习融合架构,要建立一个统一融合的数据底座,包括数据质量、权限、开发、可视化。其中,大数据和机器学习这两个技术不是孤立的,要实现二者高效、充分、双向互动,才能形成双向循环,真正实现数据融合。要实现这样的目标,必须要做好三项工作:一是打造统一融合的治理底座,避免大数据和AI为了同样的底座做重复的事情,增加复杂度,浪费资源成本。二是建立一个统一的数据采集的标准,统一的数据存储标准,质量权衡标准,能够让数据在不同系统间流动。如果只做数据打通,而不做完善的细粒度的权限控制,开发团队也不能放心的让数据自由地在不同业务系统间进行流转。三是统一开发和流程编排,从用户的角度来说,从数据采集的时刻开始到最后算法落地,为业务所用,端到端的开发流程编排必须都是统一的。

第二,为机器学习提供生产级的数据处理能力。一个算法要从实验走向实践,最关键的一步是数据处理能力,因为只有具备海量的数据处理能力,才能把算法真正打磨成生产级别的,对业务可用的算法。要具备这样的能力,首先要做的是“开放”,因为现实环境中,大部分数据都是异构的、多元的。底层大数据平台要能够对这些多元和异构的数据进行处理,因此,开放的引擎必不可少。其次,还需要灵活的平台,不仅能实现对海量数据的处理,同时为了满足生产的需求,能够根据业务的负载进行灵活的底层资源的收缩,即所谓云的弹性能力。三是需要优化的数据质量,除了算法本身要优化,还需要通过大数据的技术,进行采集、清洗、查询等能力,为机器学习提供高质量的数据源。

第三,能够通过智能数据分析,统一技术和业务的价值。这意味着研发和业务并不是两个割裂的,而是合作关系。AI机器学习能够丰富智能分析的场景,通过AI和机器学习可以更好发挥数据的价值。比如互联网用户推荐系统的用户画像,通过机器学习可以从表面原始的业务数据抽象出用户的标签和画像,供业务使用。很多企业的现状是,作为业务人员(使用者),很难真正影响到算法的开发。如何使业务人员能够通过自己平时使用的可视化工具,方便的调用算法能力,通过数据反向检验一下算法的效果,将极大提高智能数据分析的效率。更进一步,如果系统能力再强大一些,即使业务人员不懂算法,不会写代码,但是有数据和需求,就可以自己训练算法,而不是通过研发才能训练算法,这样效率就会更高了。

“云、数、智三位一体”的亚马逊云科技数智融合服务

针对以上挑战,亚马逊云科技推出了“云、数、智三位一体”的数智融合服务,帮助全球数十万的用户通过利用大数据和AI技术助力业务发展。

首先,亚马逊云科技能帮助客户构建统一的数据治理底座,实现大数据和机器学习的数据共享,数据权限的统一管控,以及两者统一的开发和流程编排。Amazon Lake Formation推出诸多新功能,实现了数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务,该服务基于多种专门构建的服务,如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce (Amazon EMR)、云数据仓库服务Amazon Redshift、Amazon SageMaker等,为大数据和机器学习提供统一的开发平台。

第二,机器学习项目成功的关键是对复杂的数据进行加工和准备。Amazon Athena能够对支持多种开源框架的大数据平台,包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源,对这些数据源进行联邦查询,快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 为代表的无服务器分析能力,可以让客户无需配置、扩展或管理底层基础设施,即可轻松地处理任何规模的数据,为机器学习项目提供兼具性能和成本效益的特征数据准备。

第三,亚马逊云科技不断提供更加智能的数据分析服务,赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如,在日常分析工具中集成机器学习模型预测能力,其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML,可帮助用户使用熟悉的技术,甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务,让业务人员探索机器学习建模。

亚马逊云科技大中华区产品部技术专家团队总监王晓野表示,机器学习和大数据的融合不仅仅是技术能解决的问题,亚马逊云科技也坚持“授人以渔”,通过面向快速算法原型的数据实验室的应用科学家、面向生产精度可用的模型训练指导的机器学习解决方案实验室,以及提供端到端咨询及交付的专业服务团队,通过不同分工的专家,和客户肩并肩一起,帮助客户探索机器学习与大数据融合挑战时,共同学习优秀的企业在数据驱动转型成功路上宝贵的经验。

责任编辑:赵立京 来源: 51CTO
相关推荐

2022-07-11 11:07:08

亚马逊云科技数据库云原生

2021-10-13 09:19:09

数据

2021-09-16 16:35:10

用友BIP|iuap

2024-05-22 17:20:56

2022-08-17 17:23:19

亚马逊云科技游戏人工智能

2024-06-07 17:42:29

2023-12-14 09:27:37

华为

2024-07-31 17:57:42

2024-05-29 19:46:41

点赞
收藏

51CTO技术栈公众号