【51CTO独家报道】2013年11月22、23日，CHINA HADOOP SUMMIT技术峰会在北京福朋喜来登大酒店盛大开幕。近千位大数据方面技术精英，一起畅享Bigdata的发展与未来。51CTO为您带来大会相关报道。
联通研究院移动互联网产品事业部主任王志军先生，首先分享了中国联通在流量计费方面的应用。移动通讯从语音的时代跨越到数据的时代，这个时代中运营商有很大的机会，同时运营商遇到了很多流量消费争议的问题，目前流量消费争议已经跃升成为用户通讯服务投诉的首位。首先的问题是数据流量消费远不如语音消费清晰透明，这个很简单，语音消费的时候拨打一个电话，对方是谁打了多长时间，这个时间是可以感知到的。运营商也可以语音通话的详单，如果是发短信，发了多少条短信大体是心中有数的。
联通研究院移动互联网产品事业部主任王志军
现在3G客户数据流量争议占3G业务投诉是10%，现在整个比例是在逐渐的上升。个别的省份已经达到了20%的比例。目前中国联通每月打到10010客服流量上的投诉是近万起。同时很多用户也基于运营商无法提供上网记录的详单，提出了法律的诉讼。例如某iPhone合约计划的用户，他是晚上凌晨到四点睡觉期间发生了巨额的流量，智能手机可能语音的应用、有很多自动更新的应用，这些应用并不是使用了才产生流量，这种情况下用户难以理解。运营商的计量设备无法提供了详单就提出了诉讼。
此前有个客服部门的统计数据，每万元应收收入中因无法提供上网记录详单的数据，造成的投诉和退费赔付是60块钱。GGSN不光是中国联通在用，来自爱立信、华为、中兴、诺基亚都在使用，这种成熟的设备，出现偏差的概率是很小了，绝大部分的赔付是运营商说不清楚，用户有投诉，为了避免争议扩大化，运营商是采用了赔付与和解的方式来处理。
好在我们有了Hadoop，Hadoop相当于可以帮助我们解决这些问题，它采用开源的方式，构架了普通的PC服务器之上，抛弃了高端的存储，也可以保证高可靠性，适合数据快速的写入，以及有快速检索的方式，这样相当于有十亿的业务需求解决不了问题，Hadoop帮我们解决了，这是我们跟Hadoop脱离了实验室的概念，是真正的商用系统上第一次亲密接触。
最后说一下采用Hadoop的体会，第一不要低估数据量增长。第二做持续不断的优化，构建专职的团队，要进行系统优化，淘宝优化的方式可能跟联通优化的方式是不同的，因为各有各的业务的特征。再有重视Hadoop集群内部网络的互联，整个网络Hadoop集群运行的稳定和高效的数据挖掘是很重要的。之前网络方面出了一些问题，就导致了整个集群在一段时间运行越来越慢，直到整个集群崩溃掉，需要进行重新启动，有这么一个周期性的过程，很多的问题是网络引发的。统计分析的查询做适当分离，我们的系统去提供数据的实时入库和查询，当做大量统计分析的时候对入库会产生影响，可能是入库的挤压，对查询的影响不大，我们只在上面跑一些定期的任务，这些定期任务的结果会构建在另外的集群上，数据库的结构设计要做好充分的准备工作。
