eMule协议的DHT算法

网络 网络管理 算法
下面我们主要介绍一下有关于eMule协议的主要算法。那么我们针对DHT算法进行了分析。首先我们了解一下这个协议的内容和算法概要。

BT协议和eMule协议在算法中有着一些差异,导致两者的使用是无法兼容的。那么我们如何考虑这算法的差异呢?首先还是让我们了解一下两协议中的DHT算法。DHT的全称是Distributed Hash Table,即分布式哈希表技术,是一种分布式存储方法。这种网络不需要中心节点服务器,而是每个客户端负责一个小范围的路由,并负责存储一小部分数据,从而实现整个DHT网络的寻址和存储。和中心节点服务器不同,DHT网络中的各节点并不需要维护整个网络的信息,而是只在节点中存储其临近的后继节点信息,幅减少了带宽的占用和资源的消耗。DHT网络还在与关键字最接近的节点上复制备份冗余信息,避免了单一节点失效问题。我们可以把整个DHT网络想象成一个城市,那么每个客户端,就好比城市里各个角落的地图,上面绘制了附近区域的地形情况,把这些地图一汇总,城市的全貌就出来了。

而DHT所采用的算法中最出名的是Kademlia,eMule最早开始使用,Bitcomet、Azureus和BitTorrent只是步其后尘,同样使用Kademlia算法的DHT。不过它们各自的实现协议不尽相同,因此不能相互兼容(BitComet与BitTorrent兼容,Azureus更像eMule,但与其它都不兼容)。
 
在2005年5月著名的BiTtorrent在4.0版实现基于Kademlia协议的DHT技术后,很快国内的BitComet和BitSpirit也实现了和BitTorrent兼容的DHT技术,实现trackerless下载方式。eMule协议实现的基于Kademlia类似的技术(BT中叫DHT,eMule中叫Kad),和BT软件使用的Kd技术的区别在于key、value和node ID的计算方法不同。

对于BT协议,目前国内用户使用最多的BT客户端就是Bitcomet,默认情况下,无须做任何设置BitComet即可自动连接并使用DHT网络。启动软件,它会使用和TCP端口号相同的UDP端口进行DHT网络连接。任何P2P技术的改进都与版权的博奕脱不了干系,DHT网络能够引起如此注目亦是如此。

确实,BT采用DHT网络后,反盗版将变得更加困难。因为在此之前,用户进行BT下载时,必需首先连接上Tracker服务器,根据所获得的正在进行下载和上传的用户列表,才能够进行正常的文件交换。这样的话,只需封禁掉提供Tracker服务的网站,便可以截断盗版传播的途径。DHT网络则不同,由于此时互联网中任何一个运行BT客户端的用户都可以作为DHT网络中的节点,因此即使封禁掉那些提供Tracker服务的网站,用户还是能够通过全球范围的逻辑DHT网络分享文件,反盗版就无从谈起。除非让上的人都不上网,或宣布使用BT软件为重罪。但技术从来都是一把双刃剑。在批判BT助长盗版气焰的同时,我们也应该看到,BT也正在日渐成为合法作品传播的途径。由于无法承受超量流量的访问,一些免费和共享软件(如Foobar2000等)开始采用BT方式分发型的合法软件——Linux系统,更是将BT作为主要的分发渠道。

在eMule协议中也有使用,常把它叫做KAD,只不过具体实现的协议有所不同。Kad网络的主要的目标是做到不需要服务器和改善可量测性。相对于传统的ed2k服务器只能处理一定数量的使用者(我们在服务器列表也都看到了,每个服务器都有最多人数限制),而且如果服务器连接人数过多,还会严重的的拖垮网络。传统的ed2k网络需要服务器支持作为中转和存储hash列表信息,kad可以不通过服务器同样完成ed2k网络的一切功能。Kad需要UDP端口的支持,之后Emule会自动按照客户端的要求,来判断它能否自由连线,然后同样也会分配一个id,这个过程和ed2k的高id和低id检查很像,不过这个id所代表的意义不同于ed2k网络,它代表一个是否“ly”的状态。

Kad能够自我组织,并且自我调节***的使用者数量以及他们的连接效果。因此,它更能使网络的损失达到最小。由于具备了以上所叙述的功能,Kad也被称之为Serverless network(无服务器网络)。虽然目前一直处于开发阶段(alpha stage) 。通过进行Kad关键字搜寻,任何人可以在文件分享网络中寻找资料。没有任何中央服务器储存文件索引,这项工作是平均由所有客户端担当:拥有要分享的文件的枝节点,会先处理文件的内容,并从内容计算出一组杂凑Hash值,这组值将会在分享网络中辨识这个文件。kad网络首先给每个客户分配一个唯一的ID值,然后对不同的ID值进行异或来得到两个客户之间的“距离”,kad会维护一个桶,“距离”越近的用户桶里的数量会越多,kad定期对桶里的用户进行清理,以保持其有效性。

对于文件和用户eMule协议会有两个这样的结构,可以通过kad来查找文件和文件相关的用户信息;同样为了考虑冗余的问题,kad会将其自身的信息复制一份给“距离”它最近的一定数量的用户,这样就算在它下线后,这些信息也不会丢失。Kad本身有一个nodes.dat文件,也叫做节点文件,这里面存放了我们在Kad网络中的邻居节点,我们都是通过这些节点来进入Kad网络的,相当于Bt下载中通过router来加入DHT网络。

注:在eMule协议具体的实现过程中,采用的ID是28bit。例如:找到用户小则是通过将用户id异或的方式,两个id的二进位异或值决定他们之间的逻辑距离,如00距离0要比距离00近。那么当一个用户加入kad后,首先通过一个已知的用户找到一批用户的id和ip地址和端口。当该用户要寻找一个特定用户A的时候,该用户先询问几个已知的逻辑距离较A较近的用户,如B用户,C用户,D用户,B,C,D会告诉该用户他们知道的更加近的用户的id和ip地址和端口,同理类推,这个用户最终就能找到A。所以寻找的次数会在logN数量级,这里N代表询问的人数。

最令人遗憾的是BT和eMule中的DHT算法无法互通和兼容!

注:在Kad网络中,系统存储的数据以对形式存放。在BT的DHT实现中,其key值为torrent文件的info_hash串,其value值则和torrent文件有密切关系。

责任编辑:佟健 来源: IT运维网
相关推荐

2010-06-23 14:55:04

eMule协议

2010-06-23 15:08:18

2010-06-23 15:19:35

eMule协议

2010-07-02 12:02:11

eMule协议

2010-06-28 21:33:17

eMule协议

2010-07-13 15:36:33

2010-06-23 14:20:06

eMule协议

2010-06-23 14:32:20

eMule协议

2018-03-13 08:45:08

存储系统DHT算法

2010-07-09 09:19:22

路由选择协议

2010-06-24 13:55:41

LEACH协议

2010-07-12 16:58:34

LEACH协议

2009-12-03 17:10:43

2010-09-09 10:06:56

Zigbee协议栈加密算法

2014-03-04 09:55:23

2011-03-17 17:40:52

iptables配置

2009-12-10 15:46:22

动态路由协议

2009-01-05 09:27:19

2019-03-12 10:46:17

TCP协议算法

2014-02-19 11:12:35

点赞
收藏

51CTO技术栈公众号