4月24日-4月26日,华为开发者大会2021(Cloud)(简称HDC.Cloud 2021)将在深圳大学城举办,这是华为ICT基础设施业务面向全球开发者的年度盛会。大会期间,针对重点产品之一——数据使能服务DAYU,华为云将通过专题演讲、开发者训练营、互动展区等环节全方位展示企业数据治理、数字化转型的解决方案及案例解读。
大禹(DAYU)治水是一个有美好寓意的故事,大禹汲取了父亲治水的经验教训,总结出一套行之有效的治水方法,对洪水进行治理疏导,用了13年完成治水大业。华为云数据使能服务DAYU也承载了同样的“使命”,将企业客户、政府客户的数据从数据资源变成数据资产,加速数据价值的释放。
以下结合数字化转型中行业面临的挑战及产品解决方案解读数据使能服务DAYU:
数字化转型中的数据挑战
这两年国家围绕着“数据要素”出台了各类指导政策与文件,但实际应用中,每一个行业的数据特点各异,对于数字化转型的诉求也不同,仍然有很多困难和挑战:
首先,在当今数字化转型的大潮下,高质量数据是转型的关键。如果没有符合质量要求的数据,就谈不上数字化,更谈不上数字化转型;
其次,在物理世界与IT世界之间的数据能不能连通,现实上存在很难跨越的数据鸿沟,这已经成为越来越多的企业、政府面临的问题,更不用提我们已有大量的存量数据是烟囱式建设,不相互关联;
第三,企业、政府需要使用的数据越来越多地延伸到组织之外,对外部相关数据的需求越来越强烈。如何做好相关数据的引入,特别是如何确权、保证流通和使用的安全,成为数据要素战略落地的关键因素。
第四,在数据技术发展的过程中技术平台与服务如何演进,保证用户能够低成本建设和高效技术创新,这一直是技术与业务之间的冲突,也是一直努力想要解决的问题。
华为云数据使能服务DAYU,释放数据价值
华为云数据使能服务DAYU的目标是:为大型政企客户量身定制感知业务、跨越孤立系统的数据资产智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。简单讲,就是从方法论入手,管理体系+技术平台双轮驱动,再通过应用场景实现数据价值释放的闭环:
首先, DAYU提供面向客户的方法论,基于华为过去30年管理实践以及将近20年数据方面的实践提炼固化下来的方法论,涵盖了数据体系从规划、实施到运维等全生命周期, 华为云DAYU会将方法论传递赋能给伙伴和客户。无论如何强调方法论的重要性都不为过,同时要强调的是,华为的方法论是开放的,会充分吸纳行业伙伴在各自行业中的多年积累。
其次,DAYU提供一站式数据处理平台,整合数据库,数仓、数据湖等众多技术组件,将从数据产生、接入、开发、可视、消费应用到最后销毁的全生命周期的操作都沉淀在技术平台上。
第三,DAYU提供了管理体系的配套建议,这是企业客户非常关心,并且也是客户最有感觉的、最关注的内容,包含三个部分:
统一数据资源管理:只有把企业所有的数据(物理、逻辑)放到一起管理,才可以谈得上数据被管理,如果散落到各地各处的数据各管各的,我们就不知道数据在哪,管理也无从谈起。
数据治理:确保数据具有统一的数据标准,通过构建元数据,数据清洗等数据治理手段,在数据逐渐被收拢到数据目录统一管理的过程中,提升数据质量,确保数据安全,各地数据源的血缘关系一目了然。同时,还通过AI等新技术的演进加速提升数据治理的效率,最终的目的是统一管理数据资源,通过数据治理实现数据资产的构建。
数据运营与演进:很多客户数据梳理好了,管理动作也做了,但项目一上线或数据流一导入运作起来,就是下线之日的倒计时。是因为没有重视运营和管理体系配套,数据体系构建起来了,往往要对传统的管理体系产生冲击,如果在管理机制上不能基于数据驱动的方式去优化组织和业务运营方式,同时引入数据新领域的人才如开发人员、分析师等,那往往不能发挥数据体系的重大作用。
最后,通过应用场景实现数据价值释放的闭环。
整个DAYU的数据实力是基于华为的自身管理实践和技术平台里丰富组件的有机结合。下面,结合华为的实践经验,看一下DAYU的体系架构:
最底层是技术平台-智能数据湖FusionInsight:通过逻辑数据湖实现全面数据集成能力,全域数据生命周期管理,统一SQL入口,实现跨源跨域协同分析;同时,实现两级安全联动,一方面通过湖内数据安全/湖间可信计算,另一方面通过全局安全大脑。
第二层是使能套件-DAYU Ekit,通过在线化的使能工作台,结合业界伙伴和客户的行业优势,让资产化效率提升10X;比如原来一个数据项目开发需要10天,使用了DAYU后,因为很多工具都已经集成到数据处理的流程中,大幅降低了数据项目开发的门槛,1天就够了;通过AI驱动+行业知识结合,实现数据资产化流水线的智能升级。包括两个关键部分:
使能工作台:帮助数据管理人员来支撑所有数据管理工作;
行业使能知识库:将数据管理有关的文档、行业的资料等通过知识图谱、技术手段让其成为“过程的模型”,来支撑数据管理人员。
第三层,数据资产市场,它是一个面向行业的数据模型资产,华为本身并不做数据内容的运营, DAYU将整个数据的模型,如数据标准、数据模型、数据标签算法等通用模型,放到数据资产里供客户自行选择。经客户的同意,也可将数据模型资产反向上载到DAYU数据资产中,政府也会将一些通用数据资产开放给企业机构。
第四层,数据应用,协助伙伴和客户构建数据应用和消费的生态。
在整体解决方案中,AI驱动的能力贯穿数据处理流程,以管数和用数为核心,打造智能数据增强体系,实现智能化治理。AI驱动数据使能,在数据资源到数据资产的全过程中,贯穿元数据质量、整体数据质量、数据资产模型的组件、数据知识图谱,发挥AI的先进的技术效力,将华为内外部实践应用到整个数据使能的过程中。
总的来说,华为云数据使能服务DAYU的使命是帮助企业把数据资源加工为数据资产,在技术和商业之间搭建一座智能的桥梁,如同DAYU治水一样,让数据清洁有序,释放千行百业数据的价值。
作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!
了解更多华为云数据使能服务DAYU参会内容,欢迎访问:https://developer.huaweicloud.com/HDC.Cloud2021.htm