大数据已经成为当下IT业界的“宠儿”。每提到此,总是让人联想到多年前John Webster和Chris Stakutis联合撰写的《无所不包的数据》(Inescapable Data)一书。书中写到未来家里冰箱中的牛奶带有RFID传感器,可与冰箱的RFID接收器通信,然后再由冰箱向主人发送一条消息;这样的场景让普通消费者兴奋不已。
现在越来越多的企业已经开始意识到数据对于自身的重要性,但是也面临着数据捕获、存储、搜索、共享、分析和可视化的问题。2012年已经证实了大数据的能量以及其能为企业带来的具有竞争力的优势。根据Gartner的内容,通过对于Web的研究,看到在2013年大数据的影响是唯一扩大的。
企业信息回报
为了从数据中获取有价值的信息,做出更快更好的决策,企业对信息解决方案、服务和资源的投资所产生的价值称为信息回报。一份由惠普主导的最新调查显示,48%的中国企业高管表示,他们的企业尚无合适的解决方案从大数据中获取价值,在全球这一数值将近60% 。只有9%的中国企业高管表示,他们的企业目前将非结构化数据纳入其监测、处理和未来战略中,在全球这一数值为10%。
企业信息回报计算方法
中国惠普有限公司软件事业部大中华区总经理于志伟表示:“未来几年,信息回报将成为衡量企业成功与否的最重要因素。惠普将继续投资并开发可以充分驾驭大容量、多样性和不可预测性信息的解决方案和服务,为我们的客户提供真正的价值。”
大数据实时分析
许多组织机构,尤其是金融服务、电信、电子商务、政府的国防、情报和税收部门,其日益增长的需求已远非传统的智能业务应用所能满足。他们需要能够不间断获取情报的能力,从而能够分析大流量的实时事件,并迅速洞察事件原委,并即时且常常是自动化地响应不断变化的世界。毫无疑问,要能够对持续大流量的实时数据进行分析,并能够快速响应,即使对技术最先进,最具创新能力的组织来说,也是一项令人望而生畏的挑战。
Hadoop应用和其他大数据解决方案都能够进行实时信息交付。以前企业拥有所需的信息,但是却不能够快速地对其进行处理。对于大数据平台而言,如果要用这些数据做分析并制定决策,这些数据就要能够信任。这一点而言,大数据平台必须支持数据质量、数据治理、文本分析、语义分析,这也可能意味着我们要集成MDM系统的数据,或者其他企业应用中的数据。再把这的信息放到一种环境中。此外,分析学中开源技术倾向于使用像R这样的语言,对于分析和设计模式要有一种全新的态度,因为处理非结构化的信息需要这种不同的观点。
批量分析已经不能提供足够快的实时智能处理。要满足日益苛刻的实时业务需求,这些特定的应用需要很多不同专业的编程人员来协作开发,包括网络程序员,事项驱动程序员,多线程程序员等等。这使得特定的应用开发成本昂贵,并且,开发周期太长。如果能够买到现成的应用来满足企业的需求,好处不言而喻。
惠普Vertica分析平台6.1
最近,惠普发布了Vertica分析平台6.1,旨在对大数据进行简化。惠普Vertica市场营销副总裁Chris Selland表示,该平台将帮助企业通过分析包、性能提升、加强与Hadoop的集成以及简化Amazon EC2云部署;据了解,平台新增了数据管理选择,能够通过Hadoop分布式文件系统(Hadoop Distributed File System (HDFS))连接器来优化大数据,HDFS连接器的数据加载速度比惠普Vertica分析平台6.0中的前代连接器版本快四倍以上。
目前惠普大数据分析解决方案主要应用在金融、政府和电信等领域。据了解全新惠普电信大数据以及分析(HP Telco Big Data and Analytics)解决方案让通信服务供应商(CSP)能够将包括用户经验和喜好的各种来源的数据转换为行动情报。通过利用惠普大数据分析软件,以及惠普的咨询、研发、信息管理和商业智能经验,惠普电信大数据及分析解决方案能够让通信服务供应商管理、分析并使用与业务相关的结构化及非结构化数据。
惠普行业大数据服务能力
惠普企业服务集团首席技术官王纪奎表示通信服务供应商拥有大量关于用户的信息,包括用户偏好、习惯及其所有移动活动,但是他们必须能够利用这些数据来开发新产品并推动企业发展。未来对于其它领域也会有更加详细的行业解决方案推出,为企业提供信息优化解决方案,帮助其实现大数据的大价值。
云端大数据分析
企业开始看到使用云计算中绑定的大数据中商业智能(BI)的好处。云计算提供可扩展性,使得其成为大数据分析的实践之车。Hadoop、Cloudera和其他的大数据工具和设备将会成为2013年的头条,云计算的趋势出现新的角度,比如将大数据放入云端的到的考虑。
云计算的弹性特征使它成为大数据分析的理想选择,大数据分析是指通过快速实施大容量非结构化数据可识别模式和完善业务策略。但是并不是所有企业都适合在云端运行大数据分析。惠普软件事业部大中华区总经理于志伟认为,大数据与云计算的结合确实存在其真正的价值,目前也确实有客户期待这方面的整合解决方案。但是需要注意的是并不是所有企业都适合这样的整合方案。惠普希望能够为客户提供更加灵活的解决方案,收费方式也更加灵活。
惠普软件事业部大中华区总经理于志伟
同时,云计算也是推动大数据分析应用中端市场发展的几项“变革性”技术之一。企业最初时常创建并得到少量松散的数据。现在他们开始通过私有云进行试验,而且通过Hadoop和MapReduce技术关联数据方法,通过计算集群完成高速数据分析。有鉴于云计算大数据分析对网络、存储以及服务器的严格要求,有些客户会把麻烦的任务、花费较大的任务都外包给云计算,主要是一些中小型企业(SMB)。
大数据认证
大数据分析对于企业的价值不言而喻,随之而来的就会有很多工作挑战等着我们。Gartner提到到2015年,全球对于大数据的工作需求量将会达到440万。新世纪大数据分析团队会需要哪些技能呢?自然包括语言处理和文本发掘,还要精通Clojure、Scala、Python、Hadoop和Java;同样也包括用像R和Mathlab这样的工具进行数据发掘的技能;还要懂得脚本和功能性语言,像Erlang和LISP,像Cassandra和CouchDB这样少见的新的数据库开发技能。
1月9日,惠普对外公布了HP Vertica大数据认证计划,并认为现在是加入大数据认证项目的最好时机。目前其认证项目包括验证HP Vertica系统管理员、数据库分析员和应用开发人员的技能和熟练程度。我们也期望未来企业寻求数据科学家不在如同大海捞针般难以实现。