数据宕机是指数据丢失、错误或不准确的情况。它可能让人回忆起互联网的早期阶段，当时的网站会以令人震惊的频率出现故障。
现在回想起来，这是有道理的。当时不仅存在基础设施方面的挑战，而且使用网络的人并不多，网站也没有那么有价值。随着云计算、电子商务和SaaS的兴起，这种情况发生了变化，确保可靠性成为企业的关键任务，站点可靠性工程(SRE)应运而生。
数据如今处于相似的时刻。技术在进步，企业的业务正在向云迁移，数据变得比以往任何时候都更加广泛和更具价值。
由此得出的结论是，随着数据变得更有价值，数据质量差的后果变得更加严重。在一两年前还适用的最佳实践、技术和投资现在可能影响企业的竞争能力。
根据调研机构Gartner公司的预计，到2025年，80%寻求扩展数字业务的企业将会失败，因为他们没有采用现代方法进行数据和分析治理。
以下是不良数据导致成本上升的8个原因：
1.数据正在向下游移动
不良数据的成本取决于谁发现了问题。如果数据工程师发现了错误的数据，他们就会得到奖励。如果公众发现不良数据，那么可能会根据情况产生声誉或法律影响。
每个阶段还充当过滤器，防止不良数据向下游移动。目前的挑战在于，目前数据存在多种趋势，这些趋势正在加快数据从数据民主化、数据产品、反向ETL等向下游移动的步伐。
2.数据堆栈变得越来越复杂
不良数据越往下游传播，修复成本就越高。让数据工程师对ETL管道进行故障排除，这比让数据科学家重新训练已输入错误数据的机器学习模型要容易和快捷得多。
数据的修复成本高昂。随着企业越来越依赖复杂的数据资产来帮助执行业务决策，不良数据的机会成本也随之上升。
例如，一家拥有机器学习模型的投资公司就遇到这样的情况，该模型可以在债券符合特定标准时自动购买债券。模式错误会使模型离线数天或数周，其结果导致这部分业务陷入停顿。
随着数据堆栈变得越来越复杂，也有更多的数据“交接”，从而为更多问题带来了机会。例如，一家游戏开发商就注意到他们的新用户在获取数据时出现了偏差。
他们投放广告的社交媒体平台改变了数据时间表，因此他们每12小时而不是24小时发送一次数据。该公司的ETL设置为每天只提取一次数据，因此这意味着在突然之间，发送给他们的一半活动数据没有得到处理或传递到下游。
3.增加数据采用率
随着数据宕机，现在有更多的人在等待，企业可能拥有更多的数据消费者，这些消费者比一年前更加依赖数据。企业已经认识到数据民主化的力量，并正在迅速采取行动，使他们的企业更加以数据为驱动力。
根据谷歌云和哈佛商业评论发布的一份调查报告， 97%的接受调查的行业领导者认为，在企业范围内访问数据和分析对于他们的业务成功至关重要。事实上，英国最大的汽车交易网站Auto Trader UK一半以上的员工每月至少一次定期在Looker仪表板上处理数据。
这是一个令人敬畏的趋势。然而，更多的数据消费者和更多的数据分析师意味着当数据宕机时会担负更多的责任。
4.数据消费者的期望不断提高
数据消费者的期望比以往任何时候都高。他们习惯于利用SaaS产品来保证5个9的可用性，这意味着他们每年的停机时间不到12分钟。事实上，不知道有哪个数据团队能够达到这个目标。
不幸的是，大多数数据团队都是根据感觉进行评估的。数据消费者和企业高管都“感觉”团队做得好或者不好。据Gartner称，这是因为将近60%的企业没有衡量不良数据的年度财务成本。
由于消费者对数据的期望很高，而衡量性能的定性数据很少，数据宕机不仅对企业，而且对数据团队都有严重的影响。
5.数据工程师难以寻求
招聘数据工程师可能需要一段时间，而从数据团队那里听到的最常见的抱怨之一是，在当今竞争激烈的劳动力市场上招聘是多么困难。他们的沮丧是显而易见的，因为经历了漫长而艰巨的人员招聘过程，但找不到任何数据工程师来担任这份工作。
根据生物制药商Dice公司的2020年技术工作报告，数据工程师是技术领域需求增长最快的工作，空缺职位数量同比增长50%，2022年报告的数据工程师平均年薪为117295美元。
数据工程师正迅速成为最有价值的资产之一。让他们放下自己的工作以修复数据宕机成本高昂，并且反复这样做可能会让他们决定离职。
6.数据质量责任正在变得分散
数据网格或分散的团队模型分配数据质量责任。目前数据中最热门的概念之一是数据网格，它将数据所有权在域数据所有者之间联合起来，这些所有者负责将数据作为产品提供，同时促进不同位置的分布式数据之间的通信。
这样做的好处是让数据团队更接近业务，并了解所有相关数据操作的目的。然而，就其性质而言，也分散了责任。
分散的设置给清晰的沟通和清晰的流程带来了更大的负担。如果没有强大的流程，责任分散可能会延长解决不良数据所需的时间或这些问题跨域时的数据宕机时间。
7.cookie的困境
由于GDPR等法规更加严格以及行业不再使用cookie，企业将更加依赖第一方数据和第三方数据。
这意味着他们将需要收集更多数据，这将变得更有价值，因为他们不再依赖谷歌算法来帮助他们的广告找到合适的消费者。因此，数据宕机时间开始对企业营销和运营产生更大的影响，不良数据的成本正在上升。
8.数据正在成为一种产品，并且具有超强竞争力
数据团队正在创建复杂的数据产品，这些产品正迅速成为客户产品的一部分，并为他们的公司释放新的价值。
这在某些行业已经成为超级竞争。如果企业的团队没有产生可操作的见解，那么很快就会被其他人超越。
在媒体领域经常看到这种情况，数据已成为一场军备竞赛。数据团队的规模和对他们的投资是天文数字。这些公司从每小时一次批处理到缩短到15分钟，再到每5分钟一次，现在开始实现流式传输，真是令人叹为观止。
在这种环境下，没有不良数据的余地。在某一媒体的数据宕机期间，其他媒体正在发布独家新闻、获得点击并获得对其受众的宝贵见解。
预防胜于治疗
考虑到不良数据的成本不断增加以及大多数企业的数据质量问题比他们想象的要多时，增加对数据质量或数据可观察性的投资似乎是明智之举。
一些数据团队在内部信号方面非常敏锐，这表明是投资数据质量的时候了(从迁移到像Snowflake或Redshift这样的云数据仓库)，但像以上提到的外部驱动因素可能会让企业迷失方向。
建议采取积极主动的方法。考虑如何在人员、流程和技术方面进行投资，以降低不良数据不断上升的成本。
