最近很多厂商都推出了自己的大数据产品。但我们还是要问两个问题,你怎么定义大数据?你认为大数据平台关键的元素是什么?
厂商和专家一般都会告诉我们最重要的是要记住大数据所包含的东西远远多于所谓的大型数据存储。大数据通常也包含其快速创建和多种格式,像非格式化的文本,Web或者数字媒体等。 正如IBM和Informatica所指出的三方面内容:容量、速率和多样化。
厂商可以根据自己的功能不断地描述自己的平台,但是大多数厂商的领导们,很擅长回答关键因素是什么,他们不只是简单地罗列自己家产品的功能。就算厂商说了一些偏向自己的话,至少我们知道对这个厂商而言什么是最重要的,还有他们的长处在哪里。
对于大数据集成平台而言,主要关注于数据来源,如何管理和治理。在这一点上应该考虑几个主要的问题:集成多种源,大数据的处理环境并不是数据的发源地。数据质量和数据管理,如果要用这些数据做分析并制定决策,这些数据就要能够信任。这一点而言,大数据平台必须支持数据质量和数据治理。
文本分析和语义分析,要能够为获取的数据预设一种环境,就比如,处理无数的源的时候,要能够确定这个信息是否是你关心的。这也可能意味着我们要集成MDM系统的数据,或者其他企业应用中的数据。再把这的信息放到一种环境中。
支持R语言。分析学中开源技术倾向于使用像R这样的语言。此外对于分析和设计模式要有一种全新的态度。因为处理非结构化的信息需要这种不同的观点。
- SQL点滴之几个有点偏的语句
- SQL Server数据挖掘中的几个问题之理解内容类型
- SQL Server数据挖掘中的几个问题之理解列的用法
- SQL Server数据挖掘之理解聚类算法和顺序聚类算法
- Big Data技术综述