1、2014年的他(大数据)
2013年被称为中国大数据的元年,经过近两年的持续发酵,到2014年底,伴随着媒体的宣传、学者的研究、厂商的推广以及企业的不断深入探索实践,大数据在各个行业都已经不少的应用与发展。
举个例子,目前在微信中有600个左右关于大数据的公众号,每天产生近2000条译文或原创文章,这些文章每天将会产生大致200亿的阅读量,全年下来相当于一个人总共看2400亿遍张爱玲的《倾城之恋》。(注:真是大数据~)
正是由于全民的大数据热潮,推动了各个行业及垂直领域对大数据的投融资,如下表所示2014年初到目前(15年2月)全球市场主要的大数据融资咨询(不完全统计数据来源:36氪)。
缔元信网络数据CEO秦雯在回顾整个大数据行业的发展状态时提到,2014年***的变化是从“说大数据”转变到“用大数据”。这点深有同感,资本的不断关注带来的是大数据在各行业的不断实际深入应用。比如当当网引入了以Ranking Model为代表的消费者行为分析作为推荐系统,透过消费者的点击行为分析,揭示点击率高低与消费者身份和商品之间的隐隐联系,促使销售额增加1亿元。交行通过对海量语音信息进行处理使历史语音检索调听花费的时间 从3~5个工作日缩短为5分钟,检索反馈时效低于100毫秒,调听反馈时效低于1秒。前几天网络上的一则新闻,信用卡“套利者”钻银行漏洞年赚近千万,最终也是通过银行的实施大数据防诈骗监控平台,通过设定相应的指标来监测每张信用卡,进而实现报警来发现的。
以上仅仅是几个例子,实际上在2014年各行业都有不少积极的探索及应用,在应用性能管理领域亦是如此。至于究竟什么是应用性能管理?它与大数据相遇能够摩擦出什么样的火花,在接下来的章节中与大家探讨。
2、2014年的她(应用性能管理)
应用性能管理的英文简称为APM,全称为Application Performance Management。到底是APM?我们首先来一个官方的定义,在wikipedia.org网站上其解释如下:应用性能管理是指对软件程序可用性以及性能的监测与管理,应用性能为确保一定程度的服务等级需要关注应用系统问题的检测与诊断,它是链接复杂IT数据与业务价值实现之间的桥梁。
为什么说是2014年的应用性能管理呢?实际上应用性能管理的概念在多年前就有提及,但是新一代的APM在中国发展,可谓说2014年是其元年,正是因为国外相关理念与产品不断成熟演进、国内互联网行业的急迫需求才使得这个老概念又有了新的内涵与技术特征。要形象化解释APM的概念,我们需要温习两个概念。
其一:业务,更白话一些来说,就是各行业中需要处理的事务,业务是任何一家企业生存的基础,因为业务意味着收益,企业经营的最终目标是通过良性的业务运转带来合理利润。
其二:用户体验,在互联网时代产品能否获得成功,用户体验越来越成为关键,当用户使用产品的时候,体验之旅才真正开始,而这个过程是否愉快,将直接影响到产品的口碑,影响到销售。从企业产品与服务的层面来讲,用户体验分为三类,如下图所示。
在无电子不商务的今天,产品与服务的用户体验问题已得到几乎所有人的认同,性能体验作为非常基础的一环其重要性不言而喻。“应用性能质量好坏”与“业务增长与否”这两个概念基本上被认作同义词。期待企业的业务增长,必然要求从用户的体验状况出发,不断提高关键应用的性能和稳定性。
互联网,尤其是近年来移动互联网在各个行业的应用迅猛发展,在给企业带来巨大商机的同时,也带来了新一轮的技术挑战。新技术带来的网络结构变化以及网络环境和网络应用不断发展带来的不确定性,极大冲击了性能的稳定,不断加深的网络复杂性使其处于失控的边缘。在移动互联网领域,接入方式的多样化和移动用户持有的终端设备的多样化、网络层次和结构的复杂化给移动网络业务带来更为严峻的问题,同时随着移动用户的增多和成熟,他们对移动互联网性能的要求也越来越高,人们更加注重整个使用过程的感官与体验,延迟就意味着故障,这对商家业务影响巨大。
最近的一项消费者调查显示,60%的用户会对加载时间超过 3 秒钟的应用(网站或 App)失去兴趣。74%的受调查者表示等待时间不会超过 5 秒钟,当遇到一个性能表现很差的应用时,1/3 的受访者表示将转向竞争对手。在用户体验要求如此苛刻的竞争压力下,购物者的受挫经历对企业不仅意味着业务的损失,同时也是品牌声誉的损害。综上所述,应用系统的性能已经成为制约公司业务发展的瓶颈,很难想象一个响应很慢,体验很差的系统能够留住更多的用户。同时现代应用的复杂度***增大,影响系统性能因素繁多,给问题发现与定位带来巨大的挑战。
3、他和她的相遇(大数据与应用性能管理)
可以说,正是由于多年的擦身而过,在浪漫的2014年,大数据与应用性能管理真正相遇了。而这个相遇实际并非偶然:一方面源于应用性能管理数据的大数据特性,另一方面也因为大数据技术发展带来的更高层次用户需求。
首先,应用性能管理数据是天然的大数据,具有明显大数据4V特征(有点老掉牙,但是必须说),如下图所示。
根据云智慧(Cloudwise)对其应用性能管理中的数据进行梳理和分析,APM对数据实时处理要求非常高,当系统中的各项性能指标有异常时,需要立即(5S内)对用户进行告警通知;目前其产品每天数据采集量为720亿条,预计在2016年这个数据将达到10万亿条,而这些IT数据涵盖了用户端到服务器端的响应时间、JS错误、网络可用率、服务吞吐率、慢查询、系统进程及磁盘空间利用率等2000种不同类型的性能参数指标。而这些数据本身蕴含着大量的价值,就像是金矿一样值得我们去开发。如何将系统数据背后的意义讲述给企业的管理者、技术人员及运营人员,让公司基于数据进行有效决策,利用可视化的数据给用户创造更好的服务体验——这就是应用性能管理需要解决的重要问题。
那么大数据技术能够从哪些方面帮助应用性能管理呢?应用性能管理如何利用大数据理念帮助企业解决现实的业务与用户体验问题呢?这里先进行预告,而更多的内容将在“价值篇”进行详细讨论。
1、通过对IT性能指标数据的可视化分析,实现对应用性能的***化管理:不断提升应用系统的性能与可用性,从而持续提升用户满意度,确保业务营收;
2、采集与挖掘分布全国乃至全球的用户体验及性能数据,分析改进与优化终端用户体验:帮助企业不断发现与改进真实终端用户的体验问题;
3、利用大数据预测及分布式压测技术,加速系统开发及交付进程:在纷杂的市场需求及竞争压力下缩短迭代时间,提升代码开发效率与质量,实现快速构建与持续交付;
4、建立面向业务与ROI的分析模型,规避与减小整体投资风险:帮助企业规避与减小在现有 IT 基础环境下引入云计算、虚拟化等新技术带来的技术与财务风险;
5、数据深层次挖掘、细化到组件层级的性能分析:在复杂系统环境中追踪应用各层次问题(甚至深入代码层级性能瓶颈),帮助 IT、开发等部门提升工作效率,将重点聚焦在核心工作中;