当今许多组织都渴望成为数据驱动型组织，但只有少数组织能够在合理的预算和时间范围内实现这一目标。迈向数据驱动型组织的过程通常是数字化转型的重要组成部分，涉及技术和流程的逐步转变以优化运营。然而，变革很少是非常顺利的，通常进展比预期更慢、成本更高。
在本文中，将探讨数据驱动的悖论：虽然数据具有增长潜力，但它也带来了实现增长的许多数据困境。我们将深入探讨采用数据驱动方法的收益和痛苦，强调良好的数据策略对于沟通和解决一路上的各种数据困境的重要性。但首先，让我们澄清一下“数据驱动型组织”的含义。
一 数据驱动的组织
几乎所有数据白皮书、演示文稿或文章中都提到了这一点：组织希望成为数据驱动的。但“数据驱动型组织”是什么意思呢？
数据驱动的组织有两个层面的含义：
- 数据驱动的决策：组织利用事实、指标和数据来指导与其目标相一致的战略业务决策。这涉及使用关键绩效指标 (KPI)、报告和仪表板等数据工件来增强决策流程。
- 数据驱动的流程优化：企业使用数据来改进现有流程，包括从用于持续监控和改进的简单数据驱动仪表板到更高级的应用程序，例如采用人工智能 (AI) 来自动化关键流程，例如通过 AI 聊天机器人提供客户服务。
这两个级别都需要手动和自动操作的结合。虽然一开始需要手动干预，但成熟的数据驱动组织更多地依赖自动化技术来简化运营并最大限度地提高效率。例如，在典型的分析环境中，技术提供了一个实际的仪表板，然后人们可以使用它来做出正确的决策。在更成熟的数据驱动组织中，人工智能工具可以自动对潜在的流失者进行分类，并向他们发送营销电子邮件，而无需任何人工干预。
数据驱动悖论指出，数据会带来增长，但随着数据增长却充满挑战。
二 数据将带来增长
在过去的十年中，许多公司投资了数据项目，开始了成为数据驱动型组织的过程。沿着这条道路，他们见证了数据驱动决策和流程优化所带来的优势和投资回报。即使在当前充满挑战的经济环境下，组织仍坚持投资于现代化数据平台，强调了他们对数据作为重要资产的信念。
随着人工智能在当今宣传中占据主导地位，许多公司渴望通过采用这项变革性技术来获得竞争优势。最近的研究进一步强化了这样的观念：数据和人工智能之间的协同作用有可能在未来几年推动组织的进一步发展：
- 普华永道发现，在考虑初始投资和获取成本后，投资于客户数据并实施数据用例的零售商预计边际贡献将增加 3%-5%。客户参与、卓越营销和运营改进等数据驱动的举措有助于这种增长。
- 麦肯锡预测，到 2025 年，智能工作流程和无缝人机交互将像企业资产负债表一样普遍。数据利用将成为标准做法，优化工作的各个方面并提高生产力。
- 包括生成式人工智能在内的人工智能技术预计将带来可观的回报。麦肯锡预计，由于人工智能技术带来的自动化，从 2023 年到 2040 年，生产力将提高 0.2-3.3%。
- 实验证据表明，像 ChatGPT 这样的生成式人工智能可以显着提高受过大学教育的专业人员执行中级专业写作任务的生产力。该人工智能工具可提高所有能力级别的输出质量并减少任务完成时间，从而提高整体生产力。
- 根据IBM 的生成式 AI — 市场状况报告，高管们预计到 2025 年，生成式 AI 的回报率将超过 10%。这个数字来自他们过去几年开发的基准 AI 功能。
三 数据困境：平衡增长和挑战
数据驱动的增长并非没有挑战和困境。渴望成为数据驱动型企业的组织需要解决几个障碍，才能充分发挥数据的潜力。这些数据困境是组织需要解决的关键领域：
- 可持续增长需要强大的数据管理：即使生成式人工智能出现，建立可靠的数据管理实践也至关重要。公司必须确保正确的数据结构、治理和清理，以有效地利用数据。例如，荷兰合作银行暂停了所有人工智能计划，直到其数据管理实践得到适当组织。
- 克服文化障碍：许多组织依靠数据和直觉进行决策，这使得创建真正的数据驱动文化具有挑战性。为了成功转型，需要解决缺乏资源、知识、明确的角色、责任和沟通等障碍。
- 数据质量和所有权：数据所有权通常属于数据工程师，他们可能缺乏特定领域的知识，从而阻碍数据质量的改进。高质量的数据对于数据的有意义的增长至关重要。
- 文化转变：文化问题，例如对变革和业务转型的抵制，可能会减缓数据驱动所需的组织转型。
- 成本和投资回报率问题：投资人工智能等新技术可能具有挑战性，因为通常不清楚投资何时会获得回报。公司很难量化人工智能投资的投资回报率，因此很难专注于产生回报的正确业务问题。
除了这些非技术挑战之外，公司还需要解决各种与技术相关的障碍。主要技术挑战包括：
- 缺乏内部专业知识：由于缺乏内部技术知识以及构建定制数据平台和基础设施的大量前期成本，预计到 2024 年，大量金融人工智能项目将被推迟或取消。
- 将人工智能模型部署到生产中的复杂性：将机器学习模型部署到生产中越来越耗时，大多数组织需要一个月或更长时间。数据科学家通常花费超过 50% 的时间进行部署，并且随着规模的扩大，这一挑战变得更加明显。
- 管理云支出：现代数据平台向云技术和服务的转变带来了新的挑战——在处理大量数据的同时有效管理云支出。
四 企业数据战略
采用数据驱动的方法使公司能够克服数据困境并释放其数据资产的真正潜力。有效的企业数据战略通过概述指导原则和目标来指导决策，在克服这些困境方面发挥着至关重要的作用。
可以推动企业数据战略的一些关键原则如下：
- 先买后建：选择现有的工具或服务，而不是在内部构建所有内容，利用现有的解决方案来加快进度。
- 全民数据工程：使每个业务部门能够创建自己的数据管道，从而将数据转化为有价值的见解。
- 事实的一个版本：通过在底层数据平台上实施单一的管理关键绩效指标 (KPI) 来确保一致性。
- 集中数据平台管理：通过将责任委托给单个专门团队来简化组织数据平台的变更和维护。
- 隐私优先于效率：在考虑 ChatGPT 等外部服务来处理敏感内部文档时，优先考虑隐私和安全。
- 用于管理决策的可用数据：数据应该以可用的格式随时可用，以支持广泛的管理决策。
然而，仅靠数据战略可能无法防止战略目标和运营选择之间潜在的脱节。例如，如果数据工程团队决定使用代码驱动的数据管道，则可能与组织促进全民数据工程的雄心相冲突。确保认识到并解决此类脱节对于使数据计划与总体战略方向保持一致至关重要。
高管、运营人员和数据分析领导者通常对关键举措的进展持有不同的观点，特别是在数据素养和数据通信等领域。为了有效实施数据战略，必须为数据项目、程序和架构建立清晰且结构化的沟通渠道。
五 促进沟通
通过弥合愿景与执行之间的差距，组织可以培养一种有效利用数据的文化，从而增强决策能力并实现持续增长。具有凝聚力的数据策略加上有效的沟通，成为转变为真正的数据驱动型组织的途径，并有能力在数据日益丰富的环境中蓬勃发展。
原则
为了促进数字数据转换计划中的清晰沟通，使隐性选择变得明确至关重要。这可以通过为每个关键决策开发一个简洁的说明清单来实现，并考虑以下几点：
- 清楚地陈述决定：以简单的方式阐明需要做出的决定，确保每个相关人员都了解其重要性。
- 构建决策框架：提供一个决策框架，概述每个潜在解决方案的优点和缺点，帮助利益相关者掌握其选择的影响。
- 强调视觉传达：利用草图或图表等视觉辅助工具来说明决策过程，使复杂的信息更容易理解和吸引人。
- 吸引广泛的受众：让不同的利益相关者参与其中，包括高管、运营人员和数据分析领导者，以确保在决策过程中考虑全面的观点。
- 选择供应商中立的解决方案：优先考虑供应商中立的解决方案类型，这些解决方案类型在不断发展的技术数据环境中具有较长的使用寿命，能够适应未来的变化。
通过采用这些实践，组织可以在数据转型过程中促进有意义的讨论并促进明智的决策。透明且沟通良好的选择有助于建立有凝聚力的数据驱动文化。
下面是应用以上原则来促进选择正确的数据管道技术的示例。
（1）要做出的决策：
数据管道是迈向数据驱动型组织的重要组成部分，跨系统提取、加载和转换数据，以便在正确的时刻为任何类型的数据产品提供正确的数据。需要选择哪种类型的数据管道工具来满足您的需求？
（2）框架四个标准可以帮助选择正确类型的数据管道技术：
- 学习曲线：数据管道技术学习起来有多难？
- 人：使用管道技术需要什么技能水平？受过有限培训的业务分析师是否可以管理它，或者它更适合经验丰富的数据工程师？
- 能力：数据管道技术有哪些能力？它可以处理提取、转换和/或加载操作吗？
- 可扩展性：管道是否可以轻松地从一个管道扩展到多个管道？它能够处理大量数据吗？
（3）随附的草图说明了如何将四种常见类型的数据管道应用于这四个标准：
- 无代码：用户友好的工具，有助于提取加载数据移动和基本转换。示例包括 Fivetran、Airbyte 和 CDC 工具（例如 Qlik Replicate）。这些工具通常由数据工程师设置，但可用于广泛的数据配置文件。
- 低代码：可视化 ETL 工具，允许通过单击并拖动界面创建管道。示例包括 Matillion 和 Azure 数据工厂，它们提供比无代码解决方案更复杂的功能。
- SQL：随着 DBT Labs 的 DBT 工具的兴起，SQL 已成为一种强大的数据管道语言。它易于学习，但可以有效地利用底层计算平台的全部功能。设置和维护通常由数据工程师完成，而实际的 SQL 可以由更广泛的数据和业务配置文件编写。
- 代码：代码驱动的管道，通常在 Apache Spark 上使用 Python 或 Scala，功能强大，能够处理大量数据。然而，维护这些管道需要高技能的数据工程师。
（4）建议无代码和 SQL 的组合，因为它允许快速轻松地集成新数据以及功能强大但相对易于学习的 SQL 语言。这种方法确保了在将来允许全民数据工程的选择。
六 小结
总之，数据推动增长的潜力是不可否认的，但转型为数据驱动型组织也面临着相当多的困境。为了在这一努力中取得成功，组织必须解决非技术和技术障碍，充分利用其数据资产的真正潜力。成功的数据战略不可或缺的要素是建立一种结构化方法，使整个数据驱动转型计划的决策民主化。
通过采用正确的实践，组织可以培养开放且有意义的沟通文化，使利益相关者能够在数据转型过程中做出明智的决策。透明且沟通良好的选择是培育有凝聚力的数据驱动文化的基石，在这种文化中，数据被视为战略资产，并被用来推动创新和增长。
