成为数据驱动的组织是困难的
业务运营转型需要面对公司文化,因为技术和自动化改变了人们工作的方式。改变人们的工作方式需要耐心、毅力和专注的长期过程。.
将组织转型为数据驱动需要通过引入数字流程和实践来改变人们在工作和运营流程中使用数据的方式。这一点比公司如何处理数据更重要。从本质上讲,它需要将以应用程序为中心的业务运营转变为数据驱动的业务运营。
数据驱动的运营由数据推动。每家公司都认为其数据是“好”的,因为数据是用来运营业务的。如果一个公司的账户金额额和它的交易都被成功处理了,数据怎么可能是坏的呢?当数据不适合其用途时,可能很糟糕。例如,数据可能不够完整,无法实时满足客户的需求,或者无法用于管理查询或财务分析。数据需要处理才能使用。
“坏”数据的问题
BadDataHandbook将BadData定义为“占用时间的数据,导致在办公室熬夜,驱使你沮丧地扯掉头发。它是无法访问的数据,拥有然后丢失的数据,今天与昨天不同的数据……简而言之,坏数据是妨碍使用的数据。
哪些数字化业务流程或分析可以承受使用不良数据的后果?数字化业务无法使用阻碍你的数据进行运营,自动化流程和活动需要良好的数据来提高业务效率、效能和敏捷性。
好的数据不仅仅是数据质量。数据质量以数据的准确性、完整性、一致性、可靠性和时效性为核心关注点。虽然数据质量很重要也很必要,但只关注数据的这些特征并没有考虑数据的使用方式。数据科学家和业务分析师的应用程序或个人工作将数据用于他们自己的目的。
将随时可用的数据实时呈现给客户、员工、合作伙伴和其他人,与他们的应用程序分开,对于数字化业务来说是必要的。在需要的地方提供数据并在需要时随时使用,这需要贯穿整个企业的良好数据。独立于应用程序的实时可用数据对于数字化成功至关重要。
数据驱动成功的七个步骤
数据驱动的成功需要提供良好的数据来推动业务运营。重点从运营工作转向数据使用和自动化。此处介绍的数据驱动成功步骤为开启数据驱动的运营提供了指南。
这七个步骤分为三类:
1.了解数据使用,以及数据使用和个性化数据交互的策略
2.数据使用和数据管理,具有数据本地化、满足用户需求的数据组织和数据交付自动化
3.数据驱动的运营,通过构建专注于数据交付和实时数据和自动化的应用程序
第1步:制定实时数据使用战略
许多公司都有数据战略。数据战略是“组织、管理、分析和部署组织信息资产的连续性战略”。这种框架对于保护和利用数据资产很重要,其中数据使用策略是一种管理企业数据的策略,数据存在于应用程序中但在应用程序外部使用并有效地获取、存储和交付它以服务企业战略。
数字化和数据驱动的运营侧重于数据的使用。它将操作从人们执行任务的方式转变为数据和自动化如何实现快速交互、决策和服务。它首先要制定一项战略,以便在整个企业中实现数据的实用性。数据使用策略识别独立于企业记录保存而使用的数据内容,以最有效的方式使其良好,并最大限度地提高其在整个企业中的可用性。要准备好在企业的任何地方实时使用数据,就需要在初始捕获点准确、完整、一致和可靠地捕获数据,并从该点开始在整个企业中始终如一地使用数据。
数据内容通常是每个应用程序捕获的。使数据使用成为战略考虑因素需要在构建、购买或租用应用程序时将数据作为一个重要因素考虑。然而,应用程序是以产品为中心的,因为数据以应用程序支持的产品或服务为中心,而不是以客户、合作伙伴或员工为中心。
数据使用策略认识到企业有数据需求和功能性应用程序需求,并且在选择应用程序时都需要解决。数据不是被视为应用程序的“附属物”,而是被视为业务运营的燃料。应用程序对数据的捕获充当一个好的或不太好的燃料过滤器。使数据良好并准备好使用的方法可以与应用程序一起实施,这有利于确保它捕获的数据是好的。
数字化转型将数据规划的重点从内部记录保存转变为数据用户。考虑这一点的方法是首先从业务外部而不是从业务内部考虑。
数据使用策略行动项目
目的
确定需要实时准备好用于特定数据驱动目标的数据
行动项目
1.通过确定数据使用策略的范围来确定数据使用的操作重点:
- 将使用数据驱动的用户类别及其角色
- 数据范围,可以称之为“数据主题域”或“数据域”,例如员工、客户、组织等,以提供每个用户类别和角色的数据需求的高级视图
2.通过确定关键指标和他们要推动的业务运营来建立数据驱动的目标
3.创建包含数据定义和验证规则的业务术语表,以实现理解和使用的一致性,并培养“数据素养”
4.确定数据驱动操作所需的自动化领域:
- 数据准备和冗余消除
- 数据驱动自动化的机器学习和AI机会
第2步:创建个性化数据交互
移动设备体验塑造了当今世界。我们习惯于想看就看,期望内容与我们的兴趣相关。移动和网络平台的使用也在塑造商业应用。它是个人用户和业务数据的交集,个性化的两个方面都在这里发挥作用。
个性化通常被理解为获取有关个人的信息并根据这些信息定制服务、产品、体验或通信。数据个性化与其说是个人定制,不如说是了解用户和他们对数据的使用,以便为他们的使用做好准备。当数据可以支持每个用户角色的视角并实时提供满足该视角的内容时,数据就是个性化的。最大化用户体验的数据使用无法通过“一刀切”的方法取得成功。
例如,客户视角按客户组织所有与客户相关的信息,使其成为以客户为中心的数据。类似地,合作伙伴视角将信息组织为以合作伙伴为中心,而员工视角将信息组织为以员工为中心。每个视角的本质是“一切都是关于我的”——即,它根据用户的角色进行个性化设置。
业务数据从用户的角度实时向用户呈现数据内容。个性化数据内容是用户界面需要为用户包含的内容。基于规则的决策、机器学习和AI使用数据的方式也不同于应用程序,因此自动化的数据内容需要“个性化”以支持实时自动化。数据的使用不同于应用程序的数据使用,特别是当用户更改数据并使用移动应用程序交易时。这给数据的组织和结构带来了挑战。
数据个性化行动项目
目的
确定为数据使用策略中确定的每个用户类别和角色执行数据驱动操作所需的数据内容
行动项目
1.通过识别每个用户类别和角色来个性化数据:
所需的数据和分析内容
- 用户角色用来与数据内容交互的机制,例如网站、移动应用程序或应用程序
- 他们要推动的关键指标和业务运营
- 数据驱动操作所需的自动化
2.将新的数据元素添加到包含数据定义和验证规则的业务术语表中,以实现理解和使用的一致性
第3步:本地化数据以供使用
随着依赖数据推动与客户、合作伙伴和员工的移动交互,数据的位置变得很重要。在一个层面上,它使数据可用于与用户实时交互,但数据所在的位置也是一个数字化业务问题。全球企业需要遵守某些国家/地区制定的法规,这些法规规定必须将有关其公民和居民的数据存储在何处。这意味着需要知道数据的来源、提供者、提供时间,以及必须存储的内容和位置。
数据的物理分布是数据管理的关键问题。今天的数据在云端,旨在实时响应用户的需求。如果用户分布广泛,则可能需要对数据位置进行区域化,以减少数据传输的延迟。
要使数字化业务取得成功,数据本地化是必须纳入实时物理数据管理。它包含GDPR、CCPA、个人信息保护法等数据隐私法规,以及数据的物理存储位置。它强调数字化企业需要从外部世界审视其运营,而不是从他们的应用程序和数据存储到外部世界。
数据本地化行动项目
目的
确定用户类别的数据内容的监管和运营要求,例如遵守HIPAA、PCI、PII、GDPR、CCPA、存储数据的国家/地区限制和公司政策
行动项目
为所有数据内容标识:
1.适用的法规和公司政策
2.公司合规部门审查以获得批准
3.记录合规执行计划,包括自动化
第4步:根据用户需求组织数据
数字化业务需要随时可用的数据来实现自动化和实时交互。数据需要组织和结构化,以便满足所有这些需求。
企业数据规划侧重于核心业务实体,例如客户、合作伙伴、员工、产品等。数据规划从为每个业务实体识别其数据进入业务的位置开始,并在数据输入点对其进行控制。例如,不是每个应用程序都捕获其自己的客户数据版本,而是创建一个客户设置和验证服务,每个应用程序将通过API进行交互来使用该服务。使客户设置和验证服务以当前和正确的形式维护客户核心数据及其记录系统(SOR)。
端到端数据管理侧重于在整个业务及其使用过程中保持一致和正确的数据。端到端数据管理的“端”是用户的,因为最大化每个用户的体验是数字化业务的使命。这需要组织数据以支持与企业进行数字交互的数据用户的需求,而不是按企业使用的应用程序进行结构化。
数据组织与数据架构不同。
“根据TheOpenGroupArchitectureFramework(TOGAF),数据架构描述了组织的逻辑和物理数据资产以及数据管理资源的结构。”将数据视为“逻辑和物理数据资产”非常适合静态数据,其中应用程序的物理数据不会经常更改,而逻辑数据模型代表业务的抽象语言。
数据驱动的决策和自动化更加动态。用户需求和数据使用不是静态的,而是经常变化的。数据组织既是细粒度的又是聚合的,并且由实时交付它们的要求决定。数据架构将数据组织为通常由关系规范化规则管理的实体和表。这就像元素周期表中按元素的原子量和电子配置排列的化学元素。它作为信息结构很有用,但不能用于表示综合内容,例如材料科学或工程用途。
同样,为用户需求组织数据需要针对特定用途的集成内容。在当今的技术架构中,数据交互变得越来越精确,并使用API执行。这需要一种使用驱动的数据设计方法来配置数据,而不是关系数据架构。
实时和流式数据交换正在改变数据架构,从将数据组织到关系表中作为企业数据架构。API是一种使用JSON符号进行数据交互的机制,这使得JSON对象更适合当今的数据组织。
基本趋势是使用一致且正确的数据进行实时交互。这对未来的应用程序有影响,因为数字化业务成为事件驱动的,并致力于消除交互和提供响应之间的延迟。
数据组织行动项目
目的
组织和构建数据内容,以便实时满足所有用户类别和角色以及个性化和本地化规范
行动项目
1.通过为每个用户角色指定来组织数据:
- 用户将与之交互的数据和分析的每个UI元素的数据内容
- 用户角色将用于访问数据内容的机制,例如网站、移动应用程序或应用程序,这些机制可能会复制或添加用户UI元素
- 关键指标和操作UI交互
2.通过使用UI交互的数据内容来构建数据(创建使用驱动的数据设计,而不是数据架构)并且:
- 对数据内容执行亲和力分析以确定UI所需的不同数据对象/数据元素分组
- 分析数据访问路径以确定数据对象之间的关系链接
第5步:数据交付和分析的自动化
实时、事件驱动、个性化和本地化的交互正迅速成为数字化业务中数据处理的标准。管理这些方面需要开展数据管理。数据管理的标准定义是它“由实践、架构技术和工具组成,用于在企业中跨数据主题领域和数据结构类型的范围内实现数据的一致访问和交付,以满足数据消费需求所有应用程序和业务流程。”
数据使用和自动化有不同的数据管理问题,从法规和合规性到跨用户交互方法的实时一致性。这是数据工程的核心——为企业提供动力,使其能够实时响应用户,而不会出现数据问题。数据自动化意味着以编程方式而不是手动方式更新数据。
在整个企业中保持数据正确和一致需要自动化,重点关注企业级数据,而不是应用程序和分析之间的单个数据流和管道。单个管道容易受到源应用程序中未经通知或意外更改的影响。
这对业务应用程序和记录源(SOR)有影响。当用户可以使用移动应用程序交易时,交易不再仅源自SOR。SOR仍然是交易的处理者,但从移动应用程序用户的角度来看,他们的交易正在进行中,他们可以继续做其他事情。
自动化数据意味着系统的、端到端的数据管理,从创建到归档,而不是以应用程序为中心的数据视图。数据管理控制数据的捕获、管理其使用,并确保SOR可以完成他们的工作,并且数据可以个性化、本地化和自动化以实时呈现给用户。这使得企业数据规划成为一项必不可少的活动。
由于用户将不断开发新的数据需求和交互以满足,这也使得保持数据组织、物理结构和API最新成为一个相当大的挑战。如果一家公司要真正实现实时和数据驱动的业务运营,IT自动化是必不可少的。
数据交付自动化行动项目
目的
确定自动化数据和分析内容的自动化机会和模式
行动项目
通过以下方式实施数据自动化:
- 识别数据内容的每个数据元素的SOR以及所有SOR数据合并和同步要求
- 当用户交互可以添加、更改或删除数据(移动和Web应用程序的基本功能)时,定义保持数据使用、分析和SOR一致的策略
- 指定数据使用的网站、移动应用程序或应用程序渠道,以便在所有这些渠道中提供一致和完整的数据
- 指定数据服务,用于将数据提取到存储的数据和分析内容中,并从中发布数据
- 建立管理存储数据和分析内容的流程
- 自动化数据结构化流程,合并治理和数据规则,并管理数据、分析和UI及其基础数据设计的演变
第6步:构建“由外而内”的应用程序
数据驱动的企业从以应用程序为中心的获取操作功能作为主要标准转变为以数据为中心并优先处理数据并将其交付给用户,几乎不需要额外处理。数据是需要实时提炼以供业务使用的原材料。实时数据的首要目标是消除为数字目的捕获、准备和使用数据的延迟。“由外向内”开发意味着根据用户界面和数据交互来设计应用程序。与端到端数据管理一样,从最终用户角色开始,将其作为设计用户交互及其底层数据结构的第一步。这种由外而内的方法也适用于应用程序开发。
当数据定义、格式、内容、正确性、一致性和当前性无论何时何地被使用和交互时都相同时,用户才能得到最好的服务。业务应用程序的传统观点是设计和构建的一组独立的程序和数据库,它们共同为用户提供一致和正确的数据。
解决应用程序和共享数据问题的一种方法是微服务架构。“微服务架构——面向服务的架构结构风格的一种变体——将应用程序安排为松耦合服务的集合。在微服务架构中,服务是细粒度的,协议是轻量级的。”真正的微服务让每个服务负责自己的数据,特定域之外的其他服务不会直接与该数据交互。
微服务架构的一个挑战是保持数据一致性。“为了保证松耦合,每个服务都有自己的数据库。维护服务之间的数据一致性是一项挑战,因为2阶段提交/分布式事务不是许多应用程序的选择。”微服务旨在履行单一职责,因此读取、写入和更新数据是作用于单个数据域的每个职责的单独服务。
数字化业务需要数据随时可用以实现运营自动化,因此它归结为数据及其与存储在不同应用程序和数据域中的数据的交集。从数据使用的角度来看,支持一个数据交互需要微服务发现和编排。数字化业务无法承受使此类数据实时一致和正确使用所需的延迟。
最好将应用程序视为为用户个性化、本地化和组织的UI和数据交互。这通过将应用程序开发重点放在用户身上来实现端到端数据管理,包括应用程序用户与数据的交互,并分别关注支持应用程序和数据交付和分析的数据内容。
将应用程序视为实时用户数据使用,这些数据也可以实时用于数据驱动的目标。
“由外而内”的应用程序行动项目
目的
开发消除数据和规则重复以及它们导致的相关数据不一致的应用程序
行动项目
1.通过确定以下内容来实施由外而内的应用程序:
- 将使用数据驱动信息的用户类别及其角色
- 数据范围,组织可以称之为“数据主题区域”或“数据域”,例如员工、客户、组织等,以提供每个用户类别和角色的数据需求的高级视图
- 所需的数据和分析内容
- 用户角色用来与数据内容交互的机制,例如网站、移动应用程序或应用程序
- 他们要推动的关键指标和运营行动
- 数据驱动操作所需的自动化
2.为所有数据内容标识:
- 适用的法规和公司政策
- 与公司合规部门审查以获得批准
- 记录合规执行计划,包括自动化
3.通过为每个用户角色指定来组织数据:
- 用户将与之交互的数据和分析的每个UI元素的数据内容
- 用户角色将用于访问数据内容的机制,例如网站、移动应用程序或应用程序,这些机制可能会复制或添加用户UI元素
- 关键指标和操作操作UI交互将推动
4.通过使用UI交互的数据内容来构建数据
第7步:致力于实时数据操作和自动化
即使今天的企业不需要实时运营,数字技术也在推动基础设施变得如此。与移动设备的数据交互、物联网(IoT)不断扩大的作用以及运营自动化将继续存在,企业需要实时运营来支持它们。数字世界越来越成为源自企业外部并需要实时响应的事件和交互之一。
业务运营的角色和活动必须适应数字化业务的需求,快速适应客户行为、竞争对手和法规的变化。“迟早,每家试图走向数字化的公司都会碰到障碍,这可能是由于遗留IT造成的。公司发现他们的遗留IT还没有为数字化做好准备。”IT工作流程和实践对于数字化业务来说还不够快。
下一代应用程序和分析需要针对实时操作而设计,在整个业务中使用一致且正确的数据和规则,并简化更改或增强它们的流程。为实时操作而设计是数字化业务的关键。实时操作的基本方法是:与公司的应用程序的每次交互都需要使用相同的数据内容和规则,以实现实时和一致的业务操作。
IT工作流程和实践是劳动密集型和耗时的。他们需要自动化来克服具有用户、数据和规则驱动功能的遗留IT的障碍。
实时数据操作和自动化操作项
目的
开发实时运行的下一代数字化业务应用程序,在整个业务中使用一致且正确的数据和规则,并且易于更改或增强。
行动项目
- 建立一种“数据重要性”方法来考虑应用程序,以便数据不一致、处理延迟和集成的影响,以及与之相关的额外IT工作,对实时数据交互的影响是决策过程的一部分
- 使数据、规则和数据使用的治理成为“数据重要性”方法的一部分,发生在应用程序或IT工作发生之前,并加强数据的一致性和正确性
- 使用用户交互、数据和规则驱动的技术自动化应用程序开发,以实现使用数据和统一应用规则的下一代应用程序
好的数据,就像好的燃料一样,可以加速数字化业务并使其保持高速运行。它的燃料线是应用程序、数据流和基于事件的交互。其中每一项都需要设计为实时交付数据,IT运营也需要实时化。