大数据工作的正确打开姿势

大数据
大数据工作的重点不是数据规模或高精尖技术,而在于用数据改变企业的经营管理方式。企业越早从数据中洞察事实,并据此快速做出行动越早受益。

[[178614]]

最近跟一家著名互联网企业的首席架构师讨论起了数据的话题,得知其正为数据迅速膨胀却无法很快产生价值而发愁。我开玩笑说;“您这是饱汉子不知道饿汉子饥,我们想数据都想疯了”。其回复:“这些数据消耗的资源实在太庞大了!若不能产生价值,很难维持这样的运作模式”。十分认同这个观点,回顾一年来实施公司大数据战略中的实践,关键问题的确不是数据的大小,而是如何利用数据迅速产生价值。

一、用数据为经营管理提供帮助

大多数传统企业习惯于依靠经验凭直觉分析经营管理中的具体问题,提出相关解决思路并安排改进措施,然后再重复这个循环。这种工作方法在过去也曾经十分有效,特别是在企业问题比较明显的情况下,能够快速反应做出调整并取得成效。这种企业的经营管理方式类似骑自行车,凭经验直觉就可以安全地前进了。

信息化时代市场竞争进一步加剧,企业的运作越来越复杂,充满了各种风险和不确定性,企业核心能力的主要差异越来越体现在各个细节之中。企业需要快速且安全的发展,其经营管理犹如驾驶汽车,没有仪表盘肯定无法做到安全高速的行驶。互联网时代下,数据收集更为方便,数据更能够反映企业的具体运营细节状况,相当于可以建立企业经营的驾驶仪表盘。若仍依靠定性和数据统计简单分析,凭经验大致判断问题形成改进方案的做法,没有客观的评价基准,无法准确判断问题程度和改进效果,不能让参与各方形成统一的共识,难以在现代市场竞争中取得优势地位。必须引入量化分析管理的方法,通过数据从具体细节中发现衡量问题,协同各方实施有针对性的优化措施。

用数据建模的方式自动识别问题并采取行动,可以更好地为企业经营管理服务。类似汽车辅助自动驾驶功能,汽车里的电脑根据驾驶者的要求,对汽车各种传感器收集上来的自身及周边各项数据进行模型计算,确定汽车相应的方向和速度,保证车辆高效安全的行驶。未来金融企业经营更像驾驶喷气式飞机,没有基于数据建模的辅助驾驶系统帮助,肯定无法航行。未来的金融竞争一定会比拼数据建模能力,若不尽快在精准营销、风险识别、产品个性化定价等方面开展数据建模实践,就很难形成相应的核心竞争力。

传统企业中基于经验习惯的工作方法已经运作了很长时间,让其改变为基于量化分析和数据建模的工作方法会十分困难。这就要求企业最高决策领导提出硬性要求,将数据应用作为关键工作部署下去,并在企业各部门的年度考核目标中增加相应的指标,逐渐形成使用数据的经营管理文化。

二、数据应用要面向解决企业问题

企业为迎接数据时代的到来,需要建立一支数据分析队伍,并设置独立的部门。他们的职责任务就是用数据帮助寻找和解决企业经营管理中存在的问题,提升企业的核心竞争能力。数据分析人员不同于IT人员,他们更多需要具有科学抽象思维能力,而非工程思维能力。部门建设初期可以从外部引进人才,也可以从企业内部寻找有数学、物理、统计学历背景的员工加入进来。

数据专业人员由于专业特点的局限,对业务知识掌握和理解存在缺陷。因其分析对象更多为企业专业的内容,若不能与业务专业形成很好的互动,数据分析工作很难开展,搞不好会陷入自我孤立的状况。企业的业务人员虽然对业务本身非常熟悉,但对数据应用缺乏概念。必须让数据人员前置到业务一线中,与业务人员共同面对企业的日常经营活动,双方取长补短逐步尝试利用数据去改进业务工作。

数据人员要主动学习业务知识,尝试在某一局部用数据发现和解决业务问题,然后与业务人员交流讨论,看是否能够对业务有些帮助。业务人员要主动学习理解数据应用的知识和方法,结合自身业务情况进行思考,努力尝试运用数据提升经营管理效率。可以考虑客户数字画像、风险定价、营销转换,甚至是内部员工挽留、办公物品合理使用、成本绩效等等各方面的数据应用。刚开始做出来的成果很可能会非常粗糙,或根本不靠谱,但经过数据与业务人员反复探讨打磨,相关的数据应用会逐步取得成效。通过在业务实际工作中的数据应用,观察其效果,再逐步完善,直至最终固定到业务日常工作中。局部突破后,逐步扩大数据应用的范围,获取更大的效益。

数据应用先不要涉及解决复杂的问题,避免起步阶段迟迟无法打开局面。最好从解决简单问题做起,可以考虑直接引入其他外部公司的成功实践,迅速产生实际成果,让大家快速看到数据应用带来的成效。根据二八原理,这些简单的数据应用很可能会产生意想不到的效果。通过对这些成功数据应用案例的宣传,引导大家进一步认识到数据所能够带来的价值,加大在数据应用方面投入资源,启动更多的相关项目。

三、面向问题收集和管理数据

传统金融行业因为过去IT资源相对昂贵,本着节省开销的考虑,只记录与金融交易相关的数据。内容主要为客户状况、合约和相关交易服务状况,而其他过程行为数据一般不做记录。这造成其数据所覆盖的范围较窄,难以支撑大规模的数据应用。现代IT技术降低了IT成本,同时随着数据应用带来价值的提升,各金融企业扩大数据收集范围和粒度的意识普遍提高,为更大规模和更加深入的数据应用创造了条件。

要根据所涉及业务领域的相关问题,提出需要增加收集哪些数据,然后由IT人员在现有系统中进行埋点,做数据记录。金融机构所拥有的客户行为数据比较有限,无法满足很多算法预测模型的要求,可以考虑在法律容许的范围内,与外部数据公司合作,获取更多的数据支持。数据有其时效性,不能立即使用的数据会随着时间的推移逐步失去其自身价值,且还会占用大量的IT资源。那种先获取数据后考虑数据应用场景的做法,成本比较高。因此要避免没有数据应用目标就大量获取数据的做法。

数据整理和数据质量管理也要面向解决实际问题的需要,避免盲目追求完美。虽然数据整理和数据质量管理对于后续的数据应用会带来很大帮助,但其也会消耗很多资源。特别对于业务部门来说,提高数据的质量意味着大量工作,甚至可能会影响业务流程的效率。可以计算相关成本与后续可能带来的收益进行比较做出决定。比如为了让客户准确填写电话号码,有些企业要求客户发短信确认码。这显然降低了业务操作的流畅程度,但若电话号码是后续服务所必不可少的,那么这样的改变就应该尽快实施。

四、确定数据的拥有者

企业会产生大量数据,不同业务单元和部门所产生的数据不同,数据使用的情况也不同,很可能会形成企业内的数据交叉使用。为避免内部的数据使用冲突造成数据的混乱,就需要明确各数据的主人,赋予其管理数据的责任和权利。原则上谁产生的数据谁就拥有这些数据,谁就对这些数据负责,其他人要使用数据必须经过数据拥有者的同意。

数据拥有者要管理保护好自己的数据,同时要考虑如何让这些数据产生更大的价值。可以考虑在企业内部形成数据使用的模拟收费机制。确定一合理的价格,让其他部门的数据使用方支付给数据拥有方相应的费用,取得数据的使用权,并在数据拥有方的监督下合理使用数据。数据使用方的资金额度由企业根据需要划定,鼓励其更经济地开展项目。通过考核数据拥有者收费的情况,对其相关服务工作予以奖惩。鼓励数据拥有者将数据提供给大家使用,创造更大的价值。质量越高的数据越有人愿意使用,数据拥有者会不断提高数据的数量和质量,满足数据使用者的需要。

五、共享数据平台支持服务

数据应用需要配套的软硬件环境支持,需要在企业内建设一套共享的数据应用平台环境,并安排专业团队提供服务支持。采用同一个数据应用环境,不但可以大幅度节省采购、建设及运维成本,还可以保证各业务部门数据相互间的共享使用,也可以非常便捷地开展数据应用交流和相关应用模型的借鉴复用。

数据平台建设要循序渐进,配置够近期使用就可以了,后续逐年确认是否需要扩容和升级。使用过好的设备和软件工具,过大的配置,很可能因数据量和应用程度无法达到预期,造成相关投入闲置浪费。随着技术的快速进步,设备及软件工具会越来越高效,单位处理能力的价格也会越来越低。而数据应用的不断深入,各个平台使用者会对平台的数据存储量、计算能力及建模工具等方面提出更高要求,更多成功的数据应用会使得公司愿意增加平台投入。最经济的做法是根据数据应用的情况及用户的需要,逐步扩充或更换设备,采购更加先进的软件工具。

数据平台存放着公司全部数据资产,如果数据失密,不但给公司商誉带来重大的损害,也会影响到客户的切身利益。公司必须明确平台管理者数据安全的管理责任和权力,提出数据安全目标要求。要建立数据安全的管理规章制度,严格遵照执行。数据平台要有完善的安全管控设计,数据使用必须在授权状况下进行,所有数据操作行为均要记载下来,以供后续审计检查使用。要做好数据网络隔离措施,抵御网络数据攻击。重要敏感数据要进行加密或变形,避免直接暴露在外。

大数据工作的重点不是数据规模或高精尖技术,而在于用数据改变企业的经营管理方式。企业越早从数据中洞察事实,并据此快速做出行动越早受益。不要将资源投放在建设豪华的设备环境和队伍上面,不用先准备大规模数据,只要开始实践就会有收获。想在水中遨游?那就赶快找个安全的水池,跳下去吧!

责任编辑:武晓燕 来源: 央行观察
相关推荐

2019-12-27 15:58:57

大数据IT互联网

2023-01-06 08:24:00

PandasPython

2019-04-16 09:27:46

2018-10-18 09:44:52

HPE

2018-01-11 15:31:39

命令Linux关机

2017-02-23 15:37:44

OptionObject容器

2016-05-09 10:41:03

算法分析开发

2018-09-03 11:57:28

大数据存储Spark

2017-09-06 08:23:01

数据备份恢复过程正确姿势

2017-07-10 13:09:45

前端Flexbox

2017-03-16 11:39:33

Openstack源码姿势

2023-01-30 07:41:43

2018-06-16 23:11:35

2018-07-30 11:21:30

华为云

2017-10-12 11:30:34

Spark代码PR

2021-01-08 08:10:34

MySQL表空间回收

2024-09-25 08:22:06

2021-09-15 16:20:02

Spring BootFilterJava

2019-10-30 17:06:50

AWS物联网IoT

2019-01-02 10:49:54

Tomcat内存HotSpot VM
点赞
收藏

51CTO技术栈公众号