2016年，大数据就在一片喧嚣的气氛中过去。之所以说“喧嚣”，是从2015年开始的大数据热在不断地继续升温，加剧。凡事必须跟大数据扯上点关系才算时髦，才算符合时代潮流。
做个最普通不过的统计分析报告，也要冠以“大数据XX报告”。“大数据征信”，“大数据金融风控”，“大数据XX”更是比比皆是。在我看来，真正属于纯粹大数据的项目并不多，多数都在混淆概念。
个人认为，大数据的高潮并未到来。大数据在今天，也并不像大家听到的那么美好。尽管它的未来很美好，但今天，它还很不“美好”。
一方面，在过去的一年里，大数据确实如我年初所料，正在朝各行业纵深发展，市场在加速，极有可能是一个拐点;另一方面，市场还处于一个量变到质变的过程中，发展的速度恐怕“不尽如人意”。
这里所说的“不尽如人意”并不是贬义，不是由于什么人为的失误导致产业的发展缓慢，而是一个新兴市场发展起来所必须的过程。这一过程只是不如一些投资方所预期那样呈现“爆发性”的增长罢了。
下面，我将分几个部分逐一展开我对2016年大数据发展的回顾以及对2017年的一些展望和建议。因为个人在过去的一年里主要做的是大数据在金融领域以及网约车反刷单领域的业务，所以对市场的认知仅限于这两个领域，文中的观点可能并不适用其他领域的，欢迎批评指正。
格局
进入一个市场，首先要明白自己扮演的身份是什么，想做什么事儿，赚哪块儿钱。大数据经过了过去几年的发展，已经逐渐形成了一定的产业格局。在一些环节上，已经尘埃落定，再无大的机会。
所以，对于每一个从业者来说，如果你还没有在一个环节，一个领域上占据霸主地位的话，***还是先想清楚，你要挣哪份钱。
年初的时候，我曾经写过一篇关于大数据产业格局的文章。《大数据跑马圈地的时代已过 逐渐清晰的产业格局将上演“厮杀”》按照从数据源到客户之间的先后次序，将大数据产业链划分成四个角色，即数据交易商，数据优化商，算法提供商和数据解决方案提供商。这四种角色，也就是我们多数大数据从业公司在市场中的身份。
- 数据交换商，即以数据本身或者数据的粗加工产品作为交易的对象，以赚取数据产品的差价为生意模型。
- 数据的优化商，是指在数据交换商和客户之间，还存在比较大的数据清洗、数据整理方面的差距，而数据交换商又没有这方面的能力交付，就需要专业的第三方团队来为客户服务。
- 算法提供商，就是以数据建模为擅长，可以依靠算法输出赚取服务费为商业模型。
- 数据解决方案提供商。前面几种角色都是客户清楚地知道自己要什么，通过什么样的数据，什么样的处理办法能解决他们的什么问题，能解决到什么程度。但是在我近几年的工作中，发现在客户和数据源之间，具有非常大的鸿沟。用户既不知道用什么样的数据，用什么样的数据处理办法，来解决他们的问题。因为他根本不知道现在市场上都有哪些外部数据。而市场上号称大数据的公司有很多，但真正能给他们提供端到端的解决方案的却很少。这就是我看到的很有意思的一个现象，每家成功的大数据公司的老板基本都是大销售，销售人才奇缺。这让我想起二十多年前，系统集成行业在国内刚兴起的时候，几乎与现在的景象别无二致。
客户对这一新兴的技术还准备不足。而且，比以前的系统集成更不好掌握的是，多数客户都没接触过外部数据本身。所以，势必存在一个阶段，市场上需要有这样一支队伍，弥补数据和客户需求之间的空白。
这就是数据的解决方案提供商，也可以叫做数据的系统集成商。只不过，这次集成的不是别的，而是“数据”。
经过了2016年的发展，我对年初的大数据产业链判断应该有所修正。目前的产业链只有两个半角色，即数据的平台服务提供商，数据解决方案提供商以及半个算法提供商。
之所以说算法提供商算半个，是因为出于生存的压力，算法提供商不得不去跟行业接轨，贴近行业，扮演一部分解决方案提供商的角色，而放弃了最初自己的独立算法提供商的角色。
数据平台服务提供商，融合了数据交换商和数据优化商的角色。他们既拥有庞大的数据生产能力，也拥有庞大的数据处理团队。
对后向，他们建成了数据池的体系，不断地吸收新的数据源来扩充自身的覆盖范围和种类;对前向，他们还建成了类似于中间件的数据服务平台，支持很多数据解决方案提供商来做各行业的解决方案。最终形成“生态链”，使数据完成闭环，并流动起来。
这类企业一般都发展了3-5年，得到了资本市场的不断支持，现在格局已定，对后来者没有机会了。
数据的解决方案提供商，目前应该已经完成了***轮的角逐。不管是已经做了一年，还是两年，对后来者还有些机会。这类企业，也多以中小规模为主。
他们的特点是专业，既知道国内数据源的状况，也做过大量的数据处理项目，更贴近市场，了解客户的需求。知道使用什么样的数据，用什么样的数据处理方法来帮助用户解决什么样的问题。他们一般都会锁定一到两个行业，深度耕耘。
目前应该已经完成了跟行业的***轮接触，形成了初步的解决方案和产品，正在向纵深发展。我们团队就属于这类。
目前的大数据产业格局并没有如我年初预料的那样细分。这说明市场还处于早期，没有细分的必要。一方面是市场没有那么多机会可以让不同角色的人都能“吃饱”;另一方面也看到，市场没有那么多人才可以允许细分。
现状
如前面所说，这一年虽然很热闹，但还没有质的飞跃。
从数据的积累或者说成熟度上来看，依然很不乐观。如果你在这一年做过“征信”、“反欺诈”、“金融风控模型”中的任何一项，你会发现“数到用时方恨少”。
掌握单维度数据的很多，但能够掌握足够足够维度数据的很少。数据散乱在不同的角落，打通起来依然困难。再加上有些不良商家，在数据中掺杂假数据，就使得这一任务雪上加霜。这也是这一领域欧美与国内的***不同。
数据源也如我年初分析的那样，正在越来越汇聚到几家***的数据平台服务提供商那里，只能寄希望于这一动作早日完成，并且他们愿意向第三方开放。
作为拥有很多优质数据源的主体之一—政府，并没有在数据开放方面走多远。虽然很多地方都在大张旗鼓地搞大数据交易中心，但多数都是雷声大雨点小。
在平台上交易的大多还是第三方数据，而非政府各部门所掌握的数据。未来，这一大块数据的开放，也将会是推动国内大数据市场成熟的一个很有意义的标志。有比较大的想象空间。
个人认为，大数据进入应用阶段，底层基础的数据以及数据优化的市场，门槛其实很高，垄断在几个巨头手里(不一定只有BAT，还有很多移动互联网崛起的大数据公司，如Talking Data,极推等)，格局已基本确定，跟大多数公司是没有关系的。一些只掌握了些网上爬来的单维度的数据，如果没想清楚拿来干什么，还是趁早洗洗睡吧。
在大数据的市场里，到目前没有发现多少爆发性增长的神话。大数据是一门技术，它跟典型的互联网项目不同。它不但可以应用到互联网上，而且可以应用到很多传统行业上。
应用到互联网上的情况，多数为企业自身的数据团队，用自己业务产生的数据，进行数据处理，再反哺回业务本身。目前只有为数不多的第三方数据团队，为企业来提供此项服务，如GrowthIO。无论是自己用，还是第三方提供，均还未看到爆发性的增长。
应用到传统行业，就更是慢节奏了。除去行业本身甲方的慢节奏不说，改变一个行业本身就不是短期的事情。就拿很多人喊了一年的所谓“大数据征信“，”大数据风控模型“为例。
首先，改变一个行业的流程，尤其是改变一个几十年沉淀下来的体系，绝不是一两年的功夫。如果想要彻底改变”大数据征信“的局面，让它能成为现实，那么首先要打破原有的FICO建立了几十年的统计模型体系，与风控形成闭环，并且达到甚至超过原有体系的效果。在此之前，还是现实点吧。不是每一个人都有机会改变世界。
大市场需要大驱动，金融风控的市场很大，很多其他行业的市场也很大，但是需要很长的周期去重新建立一套体系，并不断使之成熟。否则，不要轻言革命，尤其在金融领域。
大数据在金融领域的今天，还只能唱配角。不可否认，大数据的引入，给金融领域带来了一股新风。它可以提高金融机构数据的时效性和准确性;同时还可以利用第三方的外部数据来为金融机构有效地提供反欺诈等服务;在催收方面，也可以非常有效地完成失联修复。但，在金融机构的核心业务贷前审批和贷后管理，仍然以传统的统计模型为主。
消费金融是个特例，因为消费金融的特殊性，单笔的交易金额小。对于消费金融而言，欺诈风险大于金融风险。
这就是我目前所看到的数据以及数据应用的现状(当然还是局限在金融行业为主，其他领域没做过，不了解)。有局部亮点，但还没有本质的变化，还处于一个量变到质变的过程中。这也是一个行业发展的必然规律。
模式
在大数据的企业里面，大致我看到三种商业模式， 2C，2B，B2B2C。2C见得少，除了印象中的无线广告平台，互联网精准投放平台，没想起来其他的案例。目前还在奋战的企业主要多以2B和B2B2C 为主。
2B和B2B2C看起来一样，我也曾经考虑过B2B2C是否是一个伪***。但仔细思考过后，觉得还是不一样。这里面***的区别在于中间那个B在B2C环节中干预的比重。
比如说，我们去年曾经服务过的一个行业的客户，其反欺诈的部分业务外包给我们，我们成了他为客户提供2C业务的一部分。这样我其实是跟它们捆绑在一起，伴随它的业务增长而增长的。换句话说，如果它得业务呈现一个爆发式的增长，那么我的业务就也有爆发性的增长。
反观2B业务，大数据企业提供的服务，基本被终结在甲方本身。而甲方再去独立地为它的2C用户提供服务。这一模型最典型的就是银行。可以看到，很多一线的大数据公司基本都把注意力集中在这里。没办法，既然找不到爆发性增长的路子，还是做确定性的市场比较好。
2B***的优点就是确定性，有因必有果。但同时，做2B的市场也有一个***的弊病，在开始的时候不会有像互联网2C项目那种井喷式爆发增长的可能。这也是在过去的一年里，大数据的发展似乎不“尽如人意”的主要原因。但我认为，这是一个市场良性发展的必然。宝剑锋自磨砺开，梅花香自苦寒来。
按照以往我做行业的经验，2B的市场会以3、5、8年的时间周期呈现阶段性的大发展。
我们正在经历一个大的变革，自然也要付出更多的努力。
方向
在过去的一年里，不管2B也好，B2B2C也好，不可否认的是，客户的数据思维正在建立。虽然市场上很多人分不清楚什么是典型的传统数据业务，什么是典型的大数据业务。但起码，现在越来越多的人开始拿数据来说话。
没有客户了，要用精准营销平台找到用户，而不是简单地拿大炮轰蚊子了;有用户了，要用数据来为用户进行画像，更多地了解用户，为用户提供更优质的服务，要用数据提高转化率;在我们下决策之前，也要看看数据统计分析报告了。
总之，我们做业务有了数据的支持，越来越理性了。数据已经渗透到行业的各个环节。
从银行的主要业务来讲，分为“申请审批放款贷后管理催收”五个环节。这五个环节，除了申请和放款两个操作性动作跟数据无关之外，其余三个核心环节均跟数据有着很强的关联性。
同样，保险也是如此。从精准营销到核保、定价，数据的身影都无处不在。
我们的行业客户，正在用他们的数据思维，去重构，优化他们的业务。甚至，如果没有数据的支撑，他们都无法推出很多新的业务。一点不夸张地说，数据科技是他们的未来。
我们正在经历一个IT到DT的变革时代。数据思维已然形成，数据已经渗透到各个环节，各个角落。数据时代的潮流是不可逆转的。
人工智能也罢，机器学习也罢，都是这一潮流中的一个个弄潮儿。现在才只是开始。这一时代的到来绝非昙花一现，而是会持续未来十数年的一次盛宴。互联网可能是进入了下半场，可DT时代才刚刚开始。
清楚了这次浪潮的性质以及量级，再重新审视我们今天所做的事情，是否显得过于急躁了呢?
不管是AI，还是deep learning，任何一项先进的技术，都是为客户服务的，而不是束之高阁的，孤芳自赏的艺术品。是骡子是马拉出来溜。好与不好不是科学家说了算，而是客户说的算，是效果说了算，是为客户创造的价值说了算!
不用说大数据如何变现，大数据什么什么还看不清楚。今天，我们已经可以利用大数据为我们的客户解决他们遇到的问题，创造价值。路在脚下，多一些行动，少一些浮躁。
所谓的核心竞争力，就是你在一个正确的方向上比别人走得时间更长，走得更远。
挑战
在相当长的一段时间里，数据还是各大数据公司面临***的难题。没有足够维度的数据，没有足够数量的数据，没有足够质量的数据，做起应用来依然会感觉巧妇难为无米之炊。
目前的大量数据依然把持在几家巨头手里。又缺乏一个机制，让他们放心地将自己的全量优质数据去与别人打通。这就造成了数据的一个个“孤岛”，也阻碍了数据的横向流动。数据只能在内部循环，形成纵向流动。
还有一大部分高质量数据掌握在政府手里或者行业手里。这部分数据的不开放，也制约了数据行业发展的速度。
这一问题的解决就得看行业管理者如何来制定行业规则，促进几大数据平台服务提供商的数据开放了。当然，还有未来几年政府数据的开放进程。
再有一个比较明显的挑战就是人才。目前大数据人才的供应显然跟不上市场的需求，也造成了中短期的人才匮乏的局面。但随着行业的进一步发展，市场格局的逐渐清晰，这一局面应该在一年后得到缓解。
一方面行业将会重新洗牌，优胜劣汰;另一方面，这种供需的极大不平衡造成的短期人力资源价格的非理性上涨，势必会造成更多的新人加入到这个队伍中来。过去的很多行业都是如此，相信大数据也会如此。
***，当然还有诸多技术方面的挑战。这里我就不啰嗦了。我认为相比前两个挑战，这个还会往后排一些;而且，也会有更多更专业的人来阐述。
大数据，正在处于一个量变到质变的过程中。我们所能做的，就是脚踏实地去把眼前的路走好，走扎实;去不断地在数据应用的道路上践行，积累经验，静静地等待质变的到来。
把今天的事儿做到***，下一步自然会来到眼前。
关于作者：
中关村老李，真名李晓东，前海航云商大数据业务的掌门人。老李既有二十余年多行业系统集成的经验，又有十多年开拓新市场新业务的经验，做事沉稳扎实，对新市场和新业务有着敏锐的感知和深入的洞察力。老李于2012年加入百分点，负责无线业务，经历了个性化推荐，无线广告DSP;2015年加入海航，组建大数据业务部，不断地在大数据领域探索践行。
