摘要:种子文件有自己的文件格式,下面简单看看种子文件的结构。字符是以这种方式编码的字符串长度字符串。种子文件是使用编码的,整个文件就,包含以下键。必选表示该种子文件的文件信息。
原文链接:http://luoguochun.cn/2014/09/17/bt-file-structure/
原文作者:buf1024
估计 80% 以上接触互联网的人都知道 bt 是什么东西,任何一个用 bt 下载的人都知道这样一个概念,种子。bt 种子就是记录了 p2p 对等网络中 tracker, nodes, files 等信息,也就是说,这个种子告诉你,你要下载什么,到哪里下载。bt 种子文件有自己的文件格式,下面简单看看 bt 种子文件的结构。
在开始之前,我们先介绍 bencode 这种编码格式,因为 bt 种子文件,包括以后的 DHT 网络中,都是用这种编码的。网上有很多介绍,这里简单再重复一遍。bencode 有 4 种数据类型: string, integer, list 和 dictionary。
string
字符是以这种方式编码的: <字符串长度>:<字符串>。
如 hell: 4:hell
integer
整数是一这种方式编码的: i<整数>e。
如 1999: i1999e
list
列表是一这种方式编码的: l[数据1][数据2][数据3][…]e。
如列表 [hello, world, 101]:l5:hello5:worldi101ee
dictionary
字典是一这种方式编码的: d[key1][value1][key2][value2][…]e,其中 key 必须是 string 而且按照字母顺序排序。
如字典 {aa:100, bb:bb, cc:200}: d2:aai100e2:bb2:bb2:cci200ee
很多语言都有 bencode 的实现,Python 版本可在 pypi 里面找到: bencode。
bt 种子文件是使用 bencode 编码的,整个文件就 dictionary,包含以下键。
info, dictinary, 必选, 表示该bt种子文件的文件信息。
文件信息包括文件的公共部分
piece length, integer, 必选, 每一数据块的长度
pieces, string, 必选, 所有数据块的 SHA1 校验值
publisher, string, 可选, 发布者
publisher.utf-8, string, 可选, 发布者的 UTF-8 编码
publisher-url, string, 可选, 发布者的 URL
publisher-url.utf-8, string, 可选, 发布者的 URL 的 UTF-8 编码
如果 bt 种子包含的是单个文件,包含以下内容
name, string, 必选, 推荐的文件名称
name.utf-8, string, 可选, 推荐的文件名称的 UTF-8 编码
length, int, 必选, 文件的长度单位是字节
如果是多文件,则包含以下部分:
name, string, 必选, 推荐的文件夹名称
name.utf-8, string, 可选, 推荐的文件名称的 UTF-8 编码
files, list, 必选, 文件列表,每个文件列表下面是包括每一个文件的信息,文件信息是个字典。
文件字典
length, int, 必选, 文件的长度单位是字节
path, string, 必选, 文件名称,包含文件夹在内
path.utf-8, string, 必选, 文件名称 UTF-8 表示,包含文件夹在内
filehash,string, 可选, 文件 hash。
ed2k, string, 可选, ed2k 信息。
announce, string, 必选, tracker 服务器的地址
announce-list, list, 可选, 可选的 tracker 服务器地址
creation date, interger, 必选, 文件创建时间
comment, string, 可选, bt 文件注释
created by, string, 可选, 文件创建者。
上面列举的可能不是很完整的,但是大体上主要的字段没有重大的错误。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/37416.html
摘要:闲话不多说了,接下来谈谈网络爬虫吧。根据中的到指定端口使用扩展协议进行数据的交换即下载下载成功,解析出种子文件列表信息入库。具体实现请参考我的开源项目代码如有问题,欢迎指正,仅供技术交流,切勿用作非法商业用途。 演示地址: https://dodder.cc 三年前,照着 Python 版的 DHT 网络爬虫用 Java 重写了一遍,当时大学还未毕业,写出来的代码比较杂乱,数据跑到 1...
摘要:其中,文件信息里有以下内容区指定该种子包含的文件数量文件大小及目录结构,包括目录名和文件名字段指定顶层目录名字每个段的大小协议把一个文件分成很多个小段,然后分段下载段哈希值将整个种子种,每个段的哈希值拼在一起。 【前五篇】系列文章传送门: 网络协议 10 - Socket 编程(上):实践是检验真理的唯一标准 网络协议 11 - Socket 编程(下):眼见为实耳听为虚 网络协议 ...
摘要:其中,文件信息里有以下内容区指定该种子包含的文件数量文件大小及目录结构,包括目录名和文件名字段指定顶层目录名字每个段的大小协议把一个文件分成很多个小段,然后分段下载段哈希值将整个种子种,每个段的哈希值拼在一起。 【前五篇】系列文章传送门: 网络协议 10 - Socket 编程(上):实践是检验真理的唯一标准 网络协议 11 - Socket 编程(下):眼见为实耳听为虚 网络协议 ...
阅读 3130·2021-11-22 14:45
阅读 3253·2019-08-29 13:11
阅读 2269·2019-08-29 12:31
阅读 883·2019-08-29 11:21
阅读 2960·2019-08-29 11:09
阅读 3588·2019-08-28 18:11
阅读 1374·2019-08-26 13:58
阅读 1243·2019-08-26 13:27