盘点九种引人瞩目的开源大数据技术

开源
越来越多的公司开始聚焦于大数据技术领域,而开源恰恰是大数据技术的灵魂。以下将为您介绍九大引人注目的开源大数据技术,请拭目以待。

越来越多的公司开始聚焦于大数据技术领域,而开源恰恰是大数据技术的灵魂。以下将为您介绍九大引人注目的开源大数据技术,请拭目以待:

1.Apache Hadoop

Apache hadoop是一个开源的分布式计算框架,最初由Doug为支持其开源Web搜索引擎Nutch所创立。通过集成MapReduce技术,Hadoop将大数据分布到多个数据节点上进行处理。Hadoop遵循Apache 2.0许可证,可以轻松处理结构化、半结构化和非结构化数据,一举成为现在非常流行的大数据解决方案,

2.R语言

R语言是一种开源编程语言,专门为数据统计和数据可视化而设计。R语言最初由Ross Ihaka和Robert Gentleman在奥克兰大学设计出来,之后迅速成为大数据领域的重要工具。R语言遵循GPL许可证。

3.Cascading

Cascading是一个针对Java开发人员的应用框架,可以快速、轻松地基于Apache Hadoop开发数据分析和数据管理应用。Cascading是Hadoop的抽象层,可以屏蔽MapReduce的复杂性,支持任何基于JVM的编程语言在Hadoop集群上执行数据处理任务。Cascading最初由Chris Wensel开发,用于作为MapReduce的替代API。Cascading遵循GNU许可证,一般用于广告定位、日志分析、Web数据挖掘和ETL应用。

4.Scribe

Scribe于2008年发布,是一个由Facebook开发的日志聚合服务器软件,用于实时从大量服务器汇集日志数据。Scribe遵循Apache 2许可证,扩展性极佳,每天可应对数百亿日志记录的挑战。

5.ElasticSearch

ElasticSearch是一款由Shay Banon开发,遵循Apache许可证的开源搜索服务器。ElasticSearch基于分布式计算,对于实时搜索可以提供很好的可扩展性解决方案。许多公司已经对ElasticSearch表示认可,比如StumbleUpon和Mozilla。

6.Apache HBase

Apache HBase是一个使用Java语言编写的、以谷歌BigTable技术为基础的开源非关系型列式分布数据库,可运行在HDFS文件系统之上。HBase提供了很好的存储容错能力和快速访问大量稀疏文件的能力。HBase遵循Apache 2许可证。

7.Apache Cassandra

Cassandra是由Facebook开发的另一个开源NoSQL数据库,遵循Apache 2许可证。由于对HBase的喜爱,Facebook开始逐渐放弃使用Cassandra,但许多公司,如Netflix依然使用Cassandra数据库为其后端流媒体服务提供动力。

8.MongoDB

MongoDB是一个基于分布式文件存储的数据库,由C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。MongoDB是非常流行的JSON文档式NoSQL数据库,许多公司都非常认同MongoDB。MTV Networks、craigslist和迪斯尼互动传媒集团,纽约时报以及Etsy都是MongoDB的客户。MongoDB遵循GNU Affero通用许可证,语言驱动遵循Apache许可证,10gen公司提供商业化的MongoDB许可证。

9.Apache CouchDB

CouchDB也是一个流行的开源NoSQL数据库,它以文档方式(JSON)存储数据。CouchDB使用JavaScript语言作为查询语言,集成MapReduce技术。IBM Lotus Notes的开发人员Damien Katz在2005年构建了CouchDB,用于大规模对象的数据存储系统。CouchDB遵循Apache 2许可证,英国广播公司(BBC)使用CouchDB存储动态内容,瑞士瑞信银行(Credit Suisse)的商品部也采用了它。

责任编辑:黄丹 来源: IT168
相关推荐

2018-11-14 13:00:53

AI神经网络机器学习

2010-03-26 17:51:45

IDF英特尔

2013-07-05 18:27:31

2019-07-23 23:03:32

2014-04-22 09:34:12

大数据

2012-02-14 13:42:39

云计算云存储

2023-10-13 12:32:54

2016-08-12 14:50:29

开源HadoopSpark

2021-08-09 13:24:32

数据分析大数据小企业

2018-06-06 15:00:27

开源大数据大数据项目

2024-11-25 09:35:00

AI测试

2023-08-08 11:15:37

AI技术数字化转型

2015-07-23 14:50:28

大数据

2011-12-26 16:50:03

Autodesk123D系列欧特克

2021-03-15 14:09:05

大数据大数据框架技术数据开发

2024-10-08 16:57:59

2021-10-25 13:34:49

大数据数据分析工具

2018-12-26 05:00:36

物联网创新IOT

2018-12-25 23:35:48

物联网人工智能技术
点赞
收藏

51CTO技术栈公众号