石油也称黑色金子,开始的时候人们并不知道它的价值,它只是一种粘稠的、深褐色液体,是刚开采出来未经提炼或加工的物质。但随着蒸汽机的发明,古老的生产工具完全被颠覆,***次工业革命来了,这种黑色金子真正被人们认识的发现,并成为推动当今社会的主燃料。
信息社会,数据的价值不容置疑,但如何用好这块数据金矿,还有待挖掘。
拉手网CTO 官冲
2014年,是大数据进入落地之年。究竟大数据在企业一线会有怎样的应用,51CTO记者带着这样的疑问采访了拉手网CTO官冲先生。
大数据的处理与挖掘
在大数据诞生之前,企业已经在运用商业智能工具在分析自己的数据了。在固定的业务数据模型下,企业可以根据一些设定好的数值范围进行分析。得到的结果,很大程度上也是真实可靠的。
但对于电商行业来说,数据量呈几何数的增长,让以往的数据处理方法显得捉襟见肘。官冲先生给出了一组数字。截止2014年,拉手网拥有5000多万用户,每天光产生的日志吞吐量就超过了10亿的量级。这里面有用户的订单,有他们的评论,还有他们对于个性的诠释。
以前我们没有如此大量的数据进行处理,大家认为增加计算资源就够了。但现在如此大吞吐量的数据,确实对任何一家来说成本都会非常高。而采用分布式计算后,拉手网可以使用PC Server来应对每天产生的海量数据,这种成本就要低上很多。
数据分析人员的春天
大数据时代,数据分析人员(或者叫数据科学家)将会变得更加稀缺。这部分人是一家企业的核心技术人员。
在拉手网,有一支20人左右的大数据分析团队。他们中,一半是技术人员出身,对数据特别敏感,喜欢分析数据。这些人一旦接触到商业模型,就能迅速得出分析结果来。而另一半人,则是商业模型方面的人才,对于顾客心理等商业内容更加熟悉。这两类人,平时在拉手网是如何协作的呢?
官冲告诉51CTO记者,平时会让他们按照各自的强项工作。比如技术人员,会用已有的数据形成各种报表,或开发出各种数据决策工具。而商务人员,则会在数据的基础上做一些天马行空的想象。当他们两拨人***碰撞到一起,肯定会得出很多有意思的方案。
为了得出这样的决策方案,数据分析人员可以三个月不跟CTO官冲汇报工作。但是一旦方案达成,就必须要有数据来说明这么做,我们可以增加多少的销售额。这是官冲给他的团队灌输的意识,这是一个CTO想要得到的东西。
大数据的到来,让企业拥有了对所有维度数据的计算能力。但这些分析出来的东西对你的商业支撑到底有没有作用,这个大数据还无法判断。可能你按照某个数据模型,分析出来产品应该是这么回事。但他真的适合这个企业吗?官冲认为,还是需要真正懂得商业规律的人来做判断。
大数据时代,企业将会需要越来越多的数据分析人员。
行业大数据的安全性
数据的安全性和完整性,是企业核心数据必须考虑的要素。拉手网对此按照三个层面来做,***个层面:基础硬件。在数据保存上,实现数据的备份,大部分公司都能做到。第二个层面是关键数据的管理,哪些人能看到这些数据。这个层面是公司投入***的一个,在数据的管理上,很多数据泄密可能是内部原因。有一些内部的人员看到他不应该看到的数据,或者获得他不应该获得的数据。
第三是在审核上。数据审核包括两个方面,一方面是完整性的审核,还有他的正确不正确,或者说他有没有被不安全的使用。可能有一个数据产生了,会有审核的程序先来验证一下这个数据产生正确还是错误,是不是应该在这个时候被产生出来。
拉手网对于大数据安全,也使用一些常规手段。比如内网外网分离。在内部,正在建立一套数据管理流程,包括大数据的审计。当我们刚发现一个数据被篡改,或者被非法使用的时候,这个审计机制会启动报警。
后记
对于一家电商网站来说,拉手网需要对用户进行细分。要知道用户买了什么,从哪里来,在未来会有怎样的购物需求。这些东西,对需要电商大数据的支持。
无论从数据维度上,还是数据长度上,都需要拉手网跟踪更多数据,分析更多数据,得出更多的营销方案。在大数据时代,数据分析显得尤为重要。