常见分布式文件系统大盘点,想了解大数据先从存储开始

存储 存储软件 分布式
大数据的最底层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。小编带大家来盘点一下这些常见的分布式文件系统。

[[239139]]

大数据的***层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。小编带大家来盘点一下这些常见的分布式文件系统:

常见分布式文件系统大盘点,想了解大数据先从存储开始

Lustre

Lustre是一个非常安全,规模很大的分布式文件系统,最早由CFS(Cluster File System Inc.)公司研发,***由CFS、惠普和因特尔三家公司一起与2003年推出***版发布版,发展到现在已经非常成熟。其存储量通常以PB起步,节点支持数也能打到万级。但是其对设备有特殊要求。

HDFS

HDFS是Hadoop内置的分布式文件系统,之前也有过介绍。HDFS***的优势就是价格低廉,因此也使用极为广泛。并且其高可靠性,高容错性也让使用者非常信赖。虽然HDFS的存储级别也在PB以上,但是对于小文件过多的情况HDFS不能很好的支持。

QFS

QFS和HDFS类似,都是为了解决高效顺序读写大量数据的问题。但是QFS在性能上优于HDFS,读写效率提升综合越60%。现在QFS还比较小众,没有经过大量的使用测试,因此还不能用于大规模的生产环境。

GlusterFS

GlusterFS也是一个PB级别的集群文件系统,其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做***的特点就是无中心,不会有单点故障。

Alluxio

Alluxio是***个基于内存的分布式文件系统,因此其相应速度也会超出普通的分布式文件系统很多,例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的,文档都是中文的,对于被英文文档困扰很久的小伙伴绝对是福音。

常见分布式文件系统大盘点,想了解大数据先从存储开始

Ceph

Ceph也是一个没有单点故障的分布式文件系统,Ceph的每个节点上都有一小部分资源用于计算节点的数据信息,从而非常优秀的实现负载均衡。

PVFS

PVFS是一个并行虚拟文件系统,他能很好的支持linux上的原声命令和工具,例如rm、dd、cat等。但是PSFS是单管理节点的,因此存在单点故障,并且在启动后无法灵活的修改。

 

责任编辑:武晓燕 来源: 今日头条
相关推荐

2017-10-17 08:33:31

存储系统分布式

2018-11-26 15:12:45

存储选型架构

2010-11-01 05:50:46

分布式文件系统

2018-09-14 11:11:04

分布式文件存储

2016-09-14 23:51:23

2013-01-07 10:29:31

大数据

2012-08-31 16:04:11

HDFS分布式文件系统

2010-11-15 13:24:07

分布式文件系统

2013-06-18 14:00:59

HDFS分布式文件系统

2012-09-19 15:05:24

MogileFS分布式文件系统

2012-09-19 13:43:13

OpenAFS分布式文件系统

2010-06-04 18:45:43

Hadoop分布式文件

2013-05-27 14:46:06

文件系统分布式文件系统

2020-01-03 08:33:57

Ceph硬件系统

2012-05-10 15:23:53

分布式文件系统测试

2012-05-10 14:04:07

分布式文件系统架构

2011-07-15 17:48:27

Platform

2012-10-09 16:43:47

FastDFS分布式文件系统

2011-03-16 14:23:38

分布式文件

2023-05-05 08:16:56

SeaweedFS分布式文件
点赞
收藏

51CTO技术栈公众号