【51CTO专稿】“棱镜门”的爆发,让爱德华•斯诺登从默默无闻成为头版头条，也为蓬勃发展的大数据产业笼罩上了一层奇特的光晕。在这场众说纷纭罗生门下，大数据话题被推到了风口浪尖，国内的大数据市场也因此变得愈加火热。51CTO记者特别采访到南大通用数据技术有限公司的首席技术官武新，和我们分享了大数据的过去、现在、将来和南大通用目前在数据分析、数据挖掘等方向的开发现状和未来目标。
武新,南大通用公司高级副总裁兼CTO，法国奥尔良大学博士。国家“千人计划”专家。毕业于法国奥尔良大学，有20年的从业经验，在著名的甲骨文（ORACLE）任职12年，是最早获得甲骨文 公司Oracle Certified DBA的数据库管理专家。武新于2010年获得中组部实施的国家“千人计划”荣誉，是工信部认可的数据库专家。2008年7月，武新回到国内，任南大通用高级副总裁兼CTO，是南大通用GBase 8a 分析型数据库及其配套工具总设计师。
“大数据”概念价值提升，带热数据产业链
数据本身是什么，我们并不陌生。IT经济社会出现之后，数据成了大家火热关注的问题。从行业角度看，在互联网高速发展的十几年中，数据处理技术日新月异，加上移动互联和物联网技术和商业模式的新机遇，加速了数据的产生速度，数据存储量开始爆炸式增长。“大数据”概念应运而生。
然而“大数据”概念出现之前，数据分析、数据处理等数据库领域技术在不温不火中持续发展。也出现了数据仓库、BI等新技术概念。但从媒体角度看却没有获得关注焦点。直到“大数据”概念出现，将整个数据领域推至最高点，成为全球关注的热点概念。
对于这一现象，武新表示：互联网的出现，从技术角度和商业模式上颠覆了传统行业的经营状况，我们每个人的生活方式，也在互联网和移动互联网的推动下发生根本变化。除去概念炒作的影响外，可以说“大数据”概念提升了数据本身的价值。数据本身没有模型，或者说没有一个量化的方法。因此，我们无法给出一个明确的价格；但是，在大数据的推动下，企业对数据的重视程度进一步提升，让我们看到了数据的价值体现和资源地位。
除此之外，数据仓库、BI等早早出现的技术，在“大数据”的带动下在应用上更加活跃。接下来的大数据时代，是人类信息社会的收官阶段。之前的计算机时代和互联网时代，都是为大数据时代做铺垫和准备的。计算机时代的核心是计算能力，极大提高了人们对数据的处理能力；互联网时代解决了信息移动和连接的问题；而大数据时代，可将世界万事万物通通数据化，让人们在数据利用中优化现实操作和行为，令全球系统的运行更为高效。
所以说“大数据”的出现，不仅开启了数据领域的极速发展。对该领域的开发者而言，也迎来了最佳发展阶段。
多方面因素，促使数据分析使用门槛降低
行业里面有这样一种说法：“大数据分析是有钱人的游戏”。
关于这一说法，武新谈了自己的观点：“如果时间倒退5年，这个观点是成立的。在过去，我们去做数据仓库，做BI，确实需要很大的投资，不仅是在软件和硬件的大量投入；在高端人才的招揽上，也要投入大量的资金和精力。但是，随着互联网行业的推动，数据生产速度加快，数据分析和数据处理技术也日益完善，大数据分析的门槛慢慢降低。究其原因，主要有三点。
- 云计算的出现
- 互联网技术的飞速发展，开源力量凸显
- 大批高技能人才涌现
基于以上原因，大数据分析所需投入资源下降，国内各大行业公司普遍使用大数据分析技术。然而，随之而来的问题就是，大数据市场的竞争状态加据，单位生存空间变窄。如何定位自我位置，抓取独特身份，显得尤为重要，也成了数据库公司的思考难题。”
错位竞争，特色产品面对专用市场
“错位竞争”，特色产品面对专用市场，是南大通用的整体战略定位。
武新解释说：“南大通用创立之初，董事长崔维力先生提出了这样的战略方式。我们看到，在传统数据库市场IBM、微软等几家大型公司占据了几乎整个市场份额，在行存储技术领域做到了极致，技术市场达到了饱和状态。因此，在这种情况下，我们很难在传统市场里分得一杯羹。但是在新兴的数据分析领域，我们可以与国际巨头站在同一个起跑线，，我们的产品可以在市场上比他们表现的还要好。这就是所谓的 ‘错位竞争’，做专用数据库，发力细分市场。”
做为专业数据库产品，在存储方式上，南大通用采用列存储模式。在数据上，更快捷的进行聚合、增组、关联；更加便于进行大规模的数据分析、数据统计。对IO的要求也大大下降，拥有较高的数据压缩比，适合做B型运算。在架构上，不同于传统数据库的垂直架构，而是像Hadoop一样的横向扩展，相对于传统数据来说在计算能力有明显的优势。
在过去20年，几乎一种数据库平台，就能满足所有应用类型。但是，随着数据类型的细分，这样的数据处理模式渐渐无法满足用户需求，产生越来越多瓶颈。演变到现在，数据处理和应用形成了朝细分市场发展的模式，再次肯定了南大通用战略方针的正确性。所谓细分，就是对某一类数据或某一类应用，做专门的处理技术。精通特定领域的数据分析，特色产品面对专用市场 ，根据不同需求，做不同产品。
#p#
专用数据库产品：分析数据库GBase 8a
GBase 8a，是南大通用投入最大的一款分析数据库产品。GBase 8a采用了列存、智能查询、高效压缩、双向并行、自适应优化等多项新技术，打破了以往提高性能只能靠增加数据库的容量，建很多索引的常规，使得GBase 8a既有高性能又有很高的数据压缩比。
武新指出：“经过用户实际测试，在典型分析型应用中表现出：1、高性价比：几乎不用调优就可以达到高性能，不需要考虑如何建索引，如何分区等问题。占有磁盘空间大大降低,节省大量存 储设备费用,是传统数据库的1/5甚至更高，使用通用、中低端的存储设备和服务器就可以达到很高的性能;2、高性能: 与国际传统数据库相比在批量聚集、统计性能;即席查询性能、模糊查询性能等方面都有几倍到几十倍的提高;3、高可用性：安装、调优、维护、扩展非常简单， 好用。”
添加非结构性数据处理技术，帮助用户解决Hadoop平台问题
经过几十年信息化发展，传统行业用户积累了大量数据。其中结构化数据占大多数。ERP等各种系统产生的数据，也基本上都是结构化数据类型。然而最近几年，我们不难发现，半结构化数据和非结构化数据数量迅猛增长，尤其是半结构化数据的数量。
对此，武新认为：“今天的大数据概念里，从数据特征看，半结构化数据和非结构化数据的比重占到90%以上。半结构化数据，有类似文档这样的东西；非结构化数据以视频为主。针对这一类数据的处理，基于Hadoop的平台更为擅长。目前，我们Gbase 8a集群，已经将全文检索—一种半结构化数据处理技术，加入到其中去；在一步一步的朝处理半结构化、非结构化数据的方向发展。我们的目标，要做一个面向企业和行业，全数据处理产品和平台。未来我们的研发目标，将把非结构化数据的处理，做为首要任务。尽可能多的跟开源进行对接。因为在这个领域，开源已经有了很多非常优秀的内容。对接之后，以这两种技术的优势，为用户提供一个平台，全面处理各种类型数据。”
Hadoop 分布式计算平台以其在处理海量数据中的高可靠性、高扩展性等诸多优点，得到了大家的广泛认可和共识。Hadoop作为一个云计算平台，它的出现，解决了单个PC机计算能力薄弱的问题，可以同时在几百、几千个PC机上提供强大的计算能力。在企业中，作为一种ETL工具，在处理海量数据上，有着非常明显的优势。传统的数据库无法做到。在复杂的数据模型挖掘、预测模型的计算上，也占有霸主地位。但是，不可否认的是，在使用过程中，依然存在某些问题。这也是南大通在结合这样一个产品的同时，亟需解决的问题之一。
南大通用的的很多用户已经开始尝试使用Hadoop技术进行数据处理和进行一些项目实验。武新表示： “面对这样一个优秀的平台，我们所要做的有两点：第一，努力将Hadoop平台企业化。Hadoop企业化，就是要把Hadoop平台变成一款真正的产品，更加方便的供用户使用；未来几年或许能实现，但就目前而言还没有达到这样的成熟度。第二，解决技术更新和用户想要稳定环境之间的矛盾，为用户的稳定使用提供服务。”
坚持通用数据库发展，开始新技术应用实践
目前为止，国内行业大数据市场中，政府的金融、电信等行业的整个IT架构，还是建立在基于小型机的传统架构基础上；核心业务，依旧采用传统数据库模式。随着非结构和半结构数据的大规模增长，这一两年开始，一部分架构开始尝试基于分布式计算模型，例如Hadoop、MPP等技术的尝试。对于这一变化趋势，武新认为：“Hadopp、MPP等分布式计算模型在处理某些业务上的明显优势，促使金融、电信领域愿意去尝试这项技术。除此之外，在数据量上，无论是金融、电信还是政府部门，都在进行从TB到PB的级别迁升；数据量级上将迎来一个新的里程碑，所以对数据处理技术上的要求，也促使了他们投入分布式计算模型的应用的步伐。”
对于未来的国内数据库市场发展，虽然微软、IBM等公司占据了整个市场，但在通用数据库产品上，仍然要坚持去投入。武新觉得：“经过几十年的技术积累，国内数据分析领域在数据仓库、BI等技术上有了绝对性的建设。目前要做的，是思考如何进行行业转型？新一代数据仓库怎么做？新一代BI是什么样子的？在BI方面，南大通用也将进行投入，做一款动态BI产品，实现人机交互模式，这也是未来大数据发展的方向，对传统BI也将起到良好的推进作用。”
因此，国产数据库在继续投入通用数据库市场的同时，努力开发下一代新型技术，在新的数据分析领域开辟自己的领地，在激烈的数据库市场中切割出自己的细分市场，是提升自我市场竞争力和改进自身现状的最佳选择。
