数据驱动的迷思

大数据
身为一名七年的数据从业者,对一些专业概念尚不能准确的描述。比如什么是大数据?我虽然从2008年开始做这块的东西,但国内到了2011年的时候才兴起了这一概念。我花了三四年的时间,也不能对其有一个准确的把握。

[[150060]]

身为一名七年的数据从业者,对一些专业概念尚不能准确的描述。比如什么是大数据?我虽然从2008年开始做这块的东西,但国内到了2011年的时候才兴起了这一概念。我花了三四年的时间,也不能对其有一个准确的把握。就在前天,我把我对大数据的认识拿出来和团队交流时,也产生了多处分歧,甚至有成员提议不要提“大数据”这一名词。可有客户就是被“大数据”这一概念吸引过来的,你绕开这块不讲可不行。同样,对于什么是数据驱动(Data-driven)?我依旧不能给一个准确的描述,这也许是一个新事物在发展过程中必须经历的阶段,等到尘埃落定,没有分歧的时候,也是它寿终正寝的时候。虽然无法准确定义数据驱动,但我却能通过一些对数据驱动的似是而非的认识(迷思,Myth)做一个剖析,然后再做一个总结,我们对它的认识就会更进一步了。

迷思一、KPI就是数据驱动

KPI是Key Performance Indicator的缩写,指关键绩效指标。我们在衡量目标是否达到时,***能够有一个能够衡量总体效果的标准,这就是KPI。KPI通常是一个数字,比如今年某一企业的销售目标是5000万元,国家的GDP增长要不低于7.5%,小米手机的出货量要突破1亿。这些KPI可能是基于以往的表现评估得出的,也可能是拍脑袋的。有了KPI,组织就有了明确的目标,组织内部就按照这一目标,层层向下分解,只要每个基层完成了任务,那么组织整体的KPI就可以达到了。这种方式的好处有一堆,坏处也有一堆,咱们在这里就不论证了。咱们只讨论KPI是否是数据驱动?

KPI有一个典型特点是自上而下的,先有了一个数据,然后上下齐心协力把这个数据给坐实了。这种方式有可能是不切实际的,比如中国历史上的大跃进运动。这种方式不是先有了数据,从数据出发,再做新的决策。KPI的达成过程,是组织通过努力驱动数据的过程。正好是我们说的数据驱动相反的模式。

迷思二、有了仪表盘就是数据驱动

数据

不管是稍大规模的传统企业,还是任何规模的互联网企业,仪表盘已经是标配了。通过仪表盘,我们可以监测到公司的总体运作情况。对于公司的创始人来说,有了仪表盘,就可以对公司总体做决策了。但对于产品、运营等具体干活的人员,这可就傻了眼了。明明昨天一个机房挂了,但流量还在涨。只看到总用户量下跌了,但仪表盘上根本看不出来原因。如果想要进一步研究问题,必须对数据进行进一步的下钻,这又超出了仪表盘的承载能力。难免对有些成员来说,这些泛泛的指标很难指导决策,不看也罢。

迷思三、有专职数据工程师跑数据就是数据驱动

数据

工程师老王(本来写的是小张,团队的小张同学抗议,后来改成老王,团队的王姓同学说他老婆总叫他老王。。)负责处理所有跑数据的需求。运营同学相对上个月的活动效果进行一个评估,提了一个统计数据的需求。产品同学拿到了新功能上线的用户数据,发现比上线之前还降了?这一定是统计程序写的有问题。我们再来看看干活的老王,每天干着没有尽头的跑数据的工作,为了能够让自己不过早累死,就制定了一个复杂的数据需求规范,让那些想要跑数据的同学费一般功夫才能提过来,拉长周期,要是写的不合格,直接让需求提出者回去重写。老王已经尽力了,可因为需求提出者太多(在一个产品发展超过一年,就会出现这种情况,除非产品快挂了),后提的需求需要经过很长的周期才能满足,有些同学可能觉得提数据需求太麻烦,干脆还是换做拍脑袋吧。

这种模式下看似也能运转的通,但实际许多需求被压抑了,被强制串行化。

迷思四、每个需求都是一个新的脚本

数据

在创业公司,多面手居多,有的甚至是全栈(什么技术活都能干)。产品运营同学或老板有了数据需求,某位同学可能三下五除二就搞定了。写了一个只有他一个人能看懂的脚本(脚本是一类开发效率很高但是运行效率可能较低的程序代码,比如用perl、python等编写。)。这久而久之,就出现了一堆不同的人写的不同的脚本。如果来了新人,十有八九会交给新人去维护。因为这些脚本写的时候图快,并不会做code review,甚至连跑的数据是否正确都不能保证,那代码质量可想而知。特别是如果有人专门负责写统计脚本,那干三个月还行,觉得能够学到不少的知识。干六个月的时候,就有点腻了,发现都是重复的工作。干到一年的时候,十有八九会想走人。如果小李是接手者,发现上百个脚本,看不懂,看不完,就只能骂娘了。

工程师都是乐观主义者,对于某个数据需求,总会说这很简单,给我10分钟就搞定了。而实际要把这个脚本变成可用的任务,可能要花费两天时间。许多数据需求是例行的,那么就需要管理数据源、生成的中间数据、最终结果的发送,那么想要维护好,就不是那么容易了。更何况数据源头的格式可能发生变化,那么所有的脚本可能都跑出了错误的数据。这让我想到2008年,我刚加入百度新产品部统计团队时。当时共有20台统计机器,有500~600个统计脚本,共有两个工程师负责开发维护,新需求处理不过来,已有任务总是出问题。于是经理才痛下决心,安排我们去做一个系统来解决这一问题。

回过头来看数据驱动

数据

前面我们看了几个不那么数据驱动的例子,接下来我们看看数据驱动应该是什么样子的。数据驱动的理想状态应该是人人都是数据分析师,每个参与业务的人能够直接和数据打交道,有了问题,可以直接从数据中要结论,并且数据的获取,不依赖于第三者,不像前面提到的有那么一个中间人老王。为了达到这一点,有许多的工作要做,比如数据源要采集全,数据模型要化繁为简,强大的分析工具等,这是一个系统工程。

责任编辑:李英杰 来源: 36大数据
相关推荐

2013-06-13 09:42:11

大数据

2023-03-07 10:45:31

AI自动化测试

2012-03-30 14:43:23

2018-04-08 22:32:02

2015-04-16 11:35:07

大数据大数据迷思

2019-04-03 14:28:52

云计算云端企业

2020-02-05 08:35:24

云计算

2014-08-21 17:35:31

2018-04-03 13:37:54

混合云云计算数据安全

2013-07-18 16:40:41

Android游戏iOS游戏手游

2019-04-24 12:49:00

2021-05-19 14:21:44

数字化转型SaaSIT

2019-07-26 05:34:20

大数据业务驱动数据分析

2016-10-27 08:57:00

2015-05-11 13:04:36

2024-09-28 10:53:46

数据中台数据驱动数据转化

2021-03-26 14:24:28

大数据人工智能IT

2023-08-23 15:33:15

数据仓库数据分析

2015-07-09 10:25:45

界面设计UI设计

2012-10-18 15:07:12

创业用户创业者
点赞
收藏

51CTO技术栈公众号