淘宝分布式文件系统TFS安装配置手册:JAVA Client实战

运维 系统运维 分布式
淘宝分布式文件系统TFS安装配置手册这一系列的文章已经发了三篇了,本文是第四篇:关于JAVA Client实战的方法。看看本文能否给你带来一些感触。

TFS Java客户端的说明

tfs-client-java版本选择:

 


tfs-client-java的版本有: release-2.0.0/ tfs-with-large-2.1.1/ tfs-client-java-2.1.3/ release-2.2.2/ release-2.2.3/ release-2.2.4/ release-2.2.6/ 最终我选用了tfs-client-java-2.1.3/ 版本,因为最高的2.2.x版本,工作时必需要与rcserver通信。 我目前不需要rcserver所有没有安装rcserver,所以使用2.1.3版本。

检出:

 


svn checkout http://code.taobao.org/svn/tfs-client-java/tags/release-2.2.6/ svn checkout http://code.taobao.org/svn/tfs-client-java/tfs-client-java-2.1.3/

导入、编译略。

依赖包说明

 


common-tair.jar 下载地址:http://code.taobao.org/p/tair-client-java/wiki/index/ 可以下载编译好的 tair-client-2.3.1.jar ,也可以下载源码自己编译。

common-monitor.jar tfs-client-java 2.1.3不需要common-monitor.jar包,但2.2.x以后需要common-monitor.jar。

TMD,真的没找到这个common-monitor.jar包。分析tfs-client-java 2.2.x源码,只有一处记日志的地方需要使用它的,注释这段代码。

tfs-client-java源码中还有一处: String tfsFileName ….. if (tfsFileName != null && !tfsFileName.isEmpty()) 找不到isEmpty()方法,修改一下,就OK了. 使用tfs-client-java 访问TFS集群


TFS 2.2.10 , 1台NameServer,4台DataServer,每台4块SAS数据盘, 30并发以上写入文件时(10并发时也有少量报错),有较多的报错。压力越大,报错的次数越多。

DataServer上的日志内容大体如下,我只记了error级别的日志。

[2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1113774400] remote version is larger, set block version. blockid: 5367, remote version: 674, local version: 673 [2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1176713536] remote version is larger, set block version. blockid: 3796, remote version: 706, local version: 705 [2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1176713536] remote version is larger, set block version. blockid: 4651, remote version: 675, local version: 674 [2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1155733824] remote version is larger, set block version. blockid: 5153, remote version: 634, local version: 633

后来重新部署了TFS 2.0.4,不再报上面的错误了,情况有所好转。但报了其它错误数量不多。

压力测试:

 


已形成测试报告,略。

责任编辑:黄丹 来源: mysqlops
相关推荐

2014-01-10 10:39:35

分布式文件系统TFS

2014-01-15 13:56:28

分布式文件系统TFS淘宝

2014-01-14 15:56:54

分布式文件系统TFS淘宝

2014-01-15 16:49:48

分布式文件系统TFS淘宝

2010-11-01 05:50:46

分布式文件系统

2012-10-11 14:03:56

FastDFS分布式文件系统

2014-06-24 15:24:52

Moosefs分布式集群

2014-01-16 09:42:19

TFS分布式文件系统

2017-10-17 08:33:31

存储系统分布式

2012-09-19 15:05:24

MogileFS分布式文件系统

2010-06-04 18:45:43

Hadoop分布式文件

2012-09-19 13:43:13

OpenAFS分布式文件系统

2013-06-18 14:00:59

HDFS分布式文件系统

2012-08-31 16:04:11

HDFS分布式文件系统

2010-11-15 13:24:07

分布式文件系统

2013-01-07 10:29:31

大数据

2013-05-27 14:46:06

文件系统分布式文件系统

2012-07-20 14:40:22

2022-09-13 07:51:08

JuiceFS分布式文件系统

2011-07-15 17:48:27

Platform
点赞
收藏

51CTO技术栈公众号