实现分布式 Kv-1 Standalone KV

存储 存储软件 分布式
在 TinyKV 中,存储层是一个抽象接口,分别实现了 raft storage、mem storage、standalone storage,这里我们只需要实现 standalone storage 就行了。

[[437220]]

本文转载自微信公众号「roseduan写字的地方」,作者roseduan。转载本文请联系roseduan写字的地方公众号。

旨在实现一个简易的分布式 kv,其中很多代码框架它已经提供了,我们只需要填充具体的逻辑即可。

这个课程分为了 4 个 Project:

  • Standlone KV
  • Raft KV
  • Multi Raft KV
  • Transaction

分别需要实现单机版 kv、基于 raft(和 multi raft) 一致性算法的 kv、具有分布式事务的 kv,除了第一个 standalone kv 没有什么难度之外,其他的几个 Project 都非常的有挑战,涉及到手写 raft 算法以及分布式事务。

当然这个课程也是入门和实践分布式存储领域的挺好的学习资源,因此记录一下自己的学习历程。

今天这篇文章先来看看第一个 Project。

第一个 Project 是集成 Badger,实现一个简易的单机版 kv。

Badger 是一个很优秀的开源的单机版 kv 存储引擎,基于 LSM Tree 实现,读写性能都很好,因此需要简单熟悉下 Badger 的用法,可以参考下官方示例:github.com/dgraph-io/bager。

在 TinyKV 中,存储层是一个抽象接口,分别实现了 raft storage、mem storage、standalone storage,这里我们只需要实现 standalone storage 就行了。

具体的实现,在 kv/storage/standalone_storage/standalone_storage.go 中,需要封装一下 Badger,然后实现 storage 接口中定义的几个方法。

这里贴一下结构体的定义:

  1. type StandAloneStorage struct { 
  2.   // Your Data Here (1). 
  3.   badgerDB *badger.DB 
  4.   options badger.Options 

需要说明的是,在 Reader 方法中,需要返回一个 StorageReader 接口,这是一个抽象接口,具体逻辑需要我们自定义。

  1. func (s *StandAloneStorage) Reader(ctx *kvrpcpb.Context) (storage.StorageReader, error) { 
  2.   // Your Code Here (1). 
  3.   txn := s.badgerDB.NewTransaction(false
  4.   reader := NewStandaloneReader(txn) 
  5.   return reader, nil 

例如我定义了一个 StandaloneReader:

  1. type StandaloneReader struct { 
  2.   txn *badger.Txn 
  3.  
  4. func NewStandaloneReader(txn *badger.Txn) *StandaloneReader { 
  5.   return &StandaloneReader{ 
  6.     txn: txn, 
  7.   } 

这里完成之后,还需要在 kv/server/raw_api.go 中完善相应的 gRPC 接口,直接解析传过来的参数,然后调用 Storage 接口中的方法即可。这里展示一个示例:

  1. func (server *Server) RawGet(_ context.Context, req *kvrpcpb.RawGetRequest) (resp *kvrpcpb.RawGetResponse, err error) { 
  2.   // Your Code Here (1). 
  3.   resp = &kvrpcpb.RawGetResponse{} 
  4.  
  5.   // get storage reader. 
  6.   var reader storage.StorageReader 
  7.   reader, err = server.storage.Reader(req.Context) 
  8.   if err != nil { 
  9.     return 
  10.   } 
  11.   defer reader.Close() 
  12.  
  13.   val, err := reader.GetCF(req.Cf, req.Key
  14.   if len(val) == 0 { 
  15.     resp.NotFound = true 
  16.   } 
  17.   resp.Value = val 
  18.   return 

这里的几个接口完成之后,一个完整的 Standalone KV 就完成了。

 

你可以把 TinyKV 的代码 clone 下来,然后自己跟着我的节奏做,一步一步坚持下去,相信能够在分布式存储领域有个初步的认知。

 

责任编辑:武晓燕 来源: roseduan写字的地方
相关推荐

2021-12-20 07:51:17

分布式 Kv分布式 Kv

2022-04-12 15:53:24

存储缓存分布式

2022-06-27 08:21:05

Seata分布式事务微服务

2022-01-06 10:58:07

Redis数据分布式锁

2023-08-21 19:10:34

Redis分布式

2021-10-25 10:21:59

ZK分布式锁ZooKeeper

2019-05-05 08:37:39

分布式PyTorchGPU

2019-06-19 15:40:06

分布式锁RedisJava

2023-05-29 14:07:00

Zuul网关系统

2017-09-01 05:35:58

分布式计算存储

2023-07-30 17:34:53

KV存储ChunkPosit

2023-02-06 09:44:35

美图开源kv存储

2012-07-20 14:48:54

Nginx测试

2019-10-10 09:16:34

Zookeeper架构分布式

2015-05-18 09:59:48

ZooKeeper分布式计算Hadoop

2024-11-28 15:11:28

2019-02-26 09:51:52

分布式锁RedisZookeeper

2023-01-13 07:39:07

2017-10-27 08:40:44

分布式存储剪枝系统

2021-02-28 07:49:28

Zookeeper分布式
点赞
收藏

51CTO技术栈公众号