本着务实的态度,利用较低的成本,通过对大数据进行高速捕获和实时的分析,以获取核心业务和战略决策所需的关键信息,从而提升企业经营管理和战略决策水平,最终创造巨大的商业价值,也许是对大数据价值的***诠释。
在对大数据进行分析的过程中,传统数据挖掘/BI(Business Intelligence)的做法是,IT人员事先根据分析需求来进行建模(以及做二次表或打Cube),提前汇总好数据,业务人员在前端查看分析结果报表。
这种做法很成熟,持续了很多年,但是也存在着一些问题:
1.业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型;
2.分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。
造成这些的问题的本质原因是,过去的技术架构针对海量数据的计算能力不足,需通过建模、二次表、Cube提前进行数据运算汇总。
解决方案——敏捷BI
随着技术的发展和演进,BI领域已经迎来了新一代敏捷BI的革新。采用敏捷BI的数据分析优点包括:
-
分析报告不能只能看而不能动。数据展现是起点,而不是终点。看到了数据,要能交互式分析,要能深入向下挖掘,要能发现问题,要能找到答案,还要能采取行动。和数据交互的过程要足够快,如果用户每次点击需要等三五分钟才出结果,就无法进行交互分析。敏捷BI基于大数据的处理技术,对TB-PB级的数据可实现秒级响应;
-
分析报告应能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏捷BI实施和操作简单,业务人员可直接使用;
-
分析报告需求经常需要数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察力决策力。
敏捷BI的原理
与传统BI的重量建模、统一视图不同,敏捷BI采取轻量建模、N个视图的方法,不建二次表和Cube,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大增加灵活性,真正做到和数据对话。
想必大家会有一个疑问,既然有这么便捷的方式,为何传统BI不采用这种架构呢?正如上文所说,传统的技术架构没有引入现在的大数据技术,面对海量数据无法在用户点击的几秒内就展现结果,因此必须通过建模提前把数据汇总好,才能保证分析报表展现时的速度。实现敏捷BI的大前提是采用新架构处理数据的性能有了几十倍提升,涉及的技术包括分布式计算、内存计算、列存储、库内计算等。
因此,敏捷BI可以通过更低的成本、更短的上线周期,快速让企业洞察到数据的含义和价值。
《自由人》里提到一句顺丰快递王卫说的话——有时候,仅仅是快,就能改变一个行业。
我们先来看一个真实案例。
某互联网媒体/研究机构面临以下问题:
-
•该机构是国内***的互联网媒体/研究机构,70%以上的海外上市企业引用其研究分析报告。同时向客户提供定制化咨询报告的服务,分为提供线下报告和提供软件两种服务类型;
-
•客户的定制化需求多变,若生成报告需3-4周交付周期,若提供软件需半年交付周期。由于人工成本高,迭代周期太长,不敢承接太多报告需求的项目,每年只能做少数的定制化项目;
-
•因此,该机构希望借助BI工具提升业务效率和收入空间。
-
总结一下该机构的需求:
-
•项目的需求举例:根据时间维度,网站汇总,进行用户的来源地区、来路域名和页面访问次数,停留时间,有效访问次数、跳出率、回访者、新访问者、回访次数、回访相隔天数等相关数据的统计。要能够动态添加条件,通过对用户行为监测获得的数据进行分析,更加详细、清楚地了解用户的行为习惯;
-
•每天数据量几千万条,且不同网站客户的分析需求是各自不同的,灵活变化的多维度分析需求对分析性能提出了更高的挑战,传统的数据库以及Hadoop架构已经无法满足高性能的即时分析需求;
-
•国外的产品,如IBM、SAP、Oracle等,价格较为昂贵,在几百万量级,难以承受;
-
•国内的产品大多是上一代BI,需事先建模再进行分析,难以应对灵活的多维度分析变化需求,且针对大数据量的处理能力不能满足要求。
最终该机构采用了敏捷BI技术,将三个月的细节数据(约50亿条)导入敏捷BI系统,直接定制报告的分析展现。这一举措为客户带来了巨大的收益:
-
业务效率提升:采用敏捷BI工具后,对比原先基于Excel和SQL编程的分析方法,线下报告交付周期从3-4周缩短至小于1周,软件交付从半年缩短至一个月;
-
项目来源增加:原先不敢承接需求未完全确定的项目,因担心需求变化导致没有能力交付。采用敏捷BI工具后,可在几天内快速搭建原型向客户展示,任意需求变更可在一周内调整完毕。通过这种快速原型试错的方式,有了能力承接此类项目;
-
收入空间加大:由于业务效率的极大提升,有能力承接更多的项目,收入空间有了几倍的增长;
-
客户满意度提升:能够快速响应客户的需求和变化,超出客户预期,大幅提升了客户满意度和客户留存率。
不仅如此,该机构后续还进行了创新模式的转型:
-
基于敏捷BI工具,该机构构建了新型的SaaS平台,进一步提升用户体验,为客户提供直观可交互的分析展现报告
-
通过SaaS的账号销售模式带来稳定的长期可持续收入,改变了原先基于一个个独立项目的营收模式
-
该机构的价值描述从媒体/咨询服务公司向提供大数据服务的互联网应用提供商转变,大幅提升资本市场价值
-
旗下子机构迅速跟进敏捷BI工具的使用和新模式的改变
这是一个单一企业的案例,事实上,敏捷BI对个人、企业、乃至行业都会产生很大影响。
对个人的变革:
业务人员可以通过自服务的方式与数据进行交互式探索,更加敏捷的进行数据分析,洞察数据含义和价值。
IT人员不再被繁重的修改建模任务拖累其它高价值的工作,生产力得到释放。
对企业的变革:
对拥有大数据的企业,如咨询研究机构、互联网营销机构、舆情/商情分析机构、精准营销机构、以及各行业的传统企业,无论是内部使用数据,还是对外提供数据服务,都有了更加敏捷高效的方法。
对拥有小数据的企业或部门,在做市场分析、财务分析、销售分析、客户分析时,不用再用复杂的系统工具进行数据挖掘,分析的门槛极大降低,这意味着原来由于成本、实施周期、复杂度等门槛而被BI厂商排拒在外的广大中小企业,可以通过敏捷BI真正开始数据挖掘之旅。
对行业的变革,以IT行业为例:
对应用厂商,如ERP、CRM、行业应用提供商,可以快速嵌入敏捷BI工具,来为客户提供更多增值服务。
对实施商,BI的项目风险极大降低,项目周期极大缩短,短平快的出结果。
这是一场新的变革,大数据时代,涌现无数的数据掘金者,也需要有人来提供好铲子。
36大数据知识图谱:
产生背景:
敏捷这个词汇最早于2001年被一些热衷于改善软件开发过程的软件工程师用来描述一种能够增加客户满意度的软件开发过程–敏捷式开发过程。
什么是敏捷商业智能
在敏捷开发过程的12条基本原则中有6条原则可以用来描述敏捷商业智能。
优先级***的是通过尽早的、持续的交付有价值的商业智能软件来使客户满意。
即使到了开发的后期,也欢迎改变需求,敏捷过程利用变化来为客户创造竞争优势。
在整个项目开发期间,业务人员和开发人员必须天天都在一起工作在团队内部。
***有效果并且富有效率的传递信息的方法,就是面对面的交流。
简单–使未完成的工作***化的艺术—是根本的。
***的构架、需求和设计出自于自组织的团队。
敏捷商业智能产品
国外知名的Garnter关于敏捷商业智能产品报告中,位于***象限的敏捷商业智能产品有QlikView, Tableau和SpotView,对传统商业智能产品巨头形成了挑战。国内BI产品起步较晚,有敏捷型商业智能产品 永洪科技的Z-Suite等。
敏捷是要商业活动中做出迅速反应。传统的BI解决方案往往需要三个月甚至半年的实施周期。从数据建模到数据展现,整个研发周期冗长而低效。Z-Suite通过快速的响应周期、智能的优化、长期的积累,让用户在复杂的商业环境取得成功。