BT 握手
两个节点连上后先互报 info hash,对不上立刻断开。这一步保证了后续交换的分块属于同一份内容。
BT 握手 · Kademlia 路由 · info hash 定位 · 分区增量刷新
磁力天堂这类站点的检索能力,看起来只是一次关键词查询,实际搭建在两套底层协议之上:BT 协议负责节点之间怎么交换数据块,DHT 网络负责在没有中心服务器的前提下找到彼此。爬虫在全网持续采集 BT 下载链接与磁力资源,把名称、体积、文件数与 info hash 存进索引库。刷新不是全站一起跑,而是按分区做增量,热点分区通常 2 小时一轮,冷门分区可能 6 小时才扫一次。
BT 解决"怎么传",DHT 解决"找谁传",磁力链接把两者接在一起
先看 BT 协议。一个种子文件里写着两类信息:一是 tracker 地址,二是文件清单与分块校验值。客户端启动时先向 tracker 报到,拿到其他下载者的 IP 与端口,然后与这些节点逐一握手、交换位图、请求分块。握手时会核对 info hash,对不上就断开——这一步保证了双方说的是同一份内容。下载过程中,每个分块拿到后都要用种子里的校验值比对,不一致就丢弃重下,这就是 BT 能保证文件完整性的机制来源。
tracker 是中心化的,一旦挂掉,种子就找不到人。DHT 就是为补这个缺口而生的。它基于 Kademlia 算法,把整个网络组织成一张逻辑上的环形路由表,每个节点负责一段哈希空间。要找一个 info hash,客户端不需要知道谁有,只需要向自己路由表中距离最近的那几个节点发起询问,对方再把请求转发给它认为更近的节点,几跳之后就能定位到持有该内容的节点。磁力链接本质上就是把这段信息压缩成一个字符串:magnet:?xt=urn:btih: 后面跟的那 40 位十六进制,就是这个 info hash 本身。
握手、校验、路由、定位、采集、刷新,逐个说清楚
两个节点连上后先互报 info hash,对不上立刻断开。这一步保证了后续交换的分块属于同一份内容。
每个分块收到后都要比对种子里的校验值,不一致就重下。文件完整性靠的是这一步,不是靠下载器。
DHT 把网络组织成逻辑环,每个节点负责一段哈希空间。查询时逐跳接近目标,几跳即可定位。
magnet:?xt=urn:btih: 后接 40 位十六进制,这段字符本身就是 info hash,不需要种子文件。
爬虫采集的是链接与元数据,不接触文件本体。库里存名称、体积、文件数与 info hash 四类字段。
全站一起扫不现实。按分区做增量,热点区 2 小时一轮,冷门区可能拉到 6 小时,这是差异主要来源。
从握手走到入库,每一步都影响最终看到的结果
客户端连上节点后先发握手包,内容包括协议标识与 info hash。对方回握手包后,双方交换位图(bitfield),告诉对方自己手上有哪些分块。此后按对方缺什么就发什么的原则持续交换。整个过程是点对点的,没有任何服务器参与数据中转,tracker 或 DHT 只负责牵线,不碰数据。
节点路由表里存着若干条记录,每条包含一个节点 ID、IP 与端口。发起查询时,客户端先算目标哈希与自己路由表里各节点 ID 的距离,挑最近的若干个发询问。对方如果不知道,就把请求转发给它认为更近的节点。每跳都让距离缩短一截,通常几跳就能收敛到负责该哈希区间的节点,拿到持有者列表。
它是对种子文件里"描述内容结构"那一段做的摘要计算,结果定长、单向、不可逆推。内容结构改一个字节,重新算出的值就完全不同,所以它天然具备唯一标识与校验两种能力。磁力链接只携带这个值,不携带文件清单,因此体积可以小到一条几十字符的文本,却能指向一份完整内容。
抓的是链接与元数据,不是文件。入库字段通常四类:显示名称、总体积、文件数量与列表、info hash。有的站点还会记录采集时间与来源页。这些字段加起来足以让用户判断"是不是我要的那份",却完全不涉及内容本身,这也是索引库体量远小于内容体量的根本原因。
抓取资源有限,不可能全站一视同仁。热点分区内容更新快、失效也快,用户访问密度高,抓取频率自然往上提,主流站点的热点分区通常在 2 小时左右一轮。冷门分区内容相对稳定,6 小时甚至更长扫一次,成本更低,对结果可用性的影响也小。这个分档策略是站点之间的主要差异点之一。
同一份内容在多个来源、多个页面被采集到是常态,名称可能被加了不同前缀。入库时按 info hash 做比对,已存在的条目只更新时间戳与来源计数,不重复插入。这样索引库里一份内容只有一条主记录,附带多个来源标记,既避免了列表被重复条目占满,也保留了它被反复采集到这一事实。
记录协议解析、采集流程与刷新策略的调整细节
方向此前用户看到的结果新旧不一,却不知道原因在哪里。同一时间搜两个不同分区的关键词,一个是最新的,一个可能还停在半天前,体验上显得不一致。
处理方式把各分区的刷新档位公开出来,热点分区标注 2 小时一轮,常规分区 4 小时,冷门分区 6 小时。条目上同时显示所属分区与该分区最近一次抓取的时间。
后续结果新旧有了明确解释,用户能判断某条记录滞后是因为分区档位,而不是内容本身缺失。分档的依据也写清楚了,不再显得随意。
方向抓取过程中偶尔会遇到格式不规范的哈希值,有的是长度不足,有的是字符集越界,混在正常条目里显示会误导用户。
处理方式入库前增加一道校验,长度不足 40 位或含非十六进制字符的值单独标出,标注可能的原因,如抓取截断或来源页格式错误,正常条目不受影响。
后续异常数据不再混入正常结果,用户看到标记时能判断这条记录存在质量问题,减少因格式错误导致的定位失败。
方向不少读者对 BT 的理解停留在"下载工具"层面,不清楚握手和分块校验到底在做什么,遇到下载不完整或节点连不上时也无从排查。
处理方式新增原理说明页,把握手流程、位图交换、分块校验三个环节用分步图示呈现,每一步说明输入、输出与失败时的表现,配合文字解释。
后续读者能建立起对 BT 工作方式的基本认知,遇到常见问题时有判断方向,不再把所有异常都归因于"资源不行"。
方向DHT 的逐跳查询对多数人来说是黑箱,只知道"能查到",不知道中间经过了哪些节点、每一跳距离缩短了多少。
处理方式补充 Kademlia 路由表的说明,并用示意图展示一次查询从发起节点到目标区间所经过的跳数与距离变化,让收敛过程变得可见。
后续读者理解了 DHT 的查询并非广播而是定向收敛,也就明白了为什么它能在不依赖中心服务器的前提下完成定位。
方向常有误解认为索引站点"存了所有资源",实际上索引库只保存描述性字段,这一点此前没有明确写出来。
处理方式在字段说明中逐条列出采集的内容与不采集的内容,明确爬虫只采集链接与元数据,不下载、不转存任何文件本体。
后续读者对索引库的定位有了准确理解,也更能解释为什么索引体积远小于内容体积,以及为什么有些记录会失效。
方向原理类内容常包含 40 位十六进制值,窄屏下这类长串会撑出容器,需要横向拖动才能看全,阅读节奏被打断。
处理方式对长字段改为可换行显示,技术参数与说明文字分行排列,次要内容默认收起、点击展开。触摸区域同步扩展。
后续手机上的阅读体验更连贯,关键技术值一眼可见,不需要来回拖动,碎片时间查阅也更顺手。
关于协议原理、磁力链接结构、刷新周期与结果差异的说明
一个管传输,一个管发现,是分工而非替代。
负责节点之间的握手、位图交换与分块传输,同时用种子里的校验值保证收到的数据完整无误。它解决的是"数据怎么传"的问题。
负责在没有 tracker 的情况下找到持有某份内容的节点,靠的是分布式哈希表与逐跳查询。它解决的是"找谁传"的问题。两者配合,才让一个只有哈希值的磁力链接能够跑起来。
因为它携带的是标识而不是文件清单。
magnet:?xt=urn:btih: 是固定前缀,后面跟的 40 位十六进制就是 info hash。这个值足以定位到内容,文件清单等信息可以在连接建立后从其他节点处获取,不必写进链接里。
链接体积小、便于传播,且不依赖某个具体的种子文件是否存在。只要还有人持有内容,凭这串字符就能重新找回。
因为抓取资源有限,必须按价值分档分配。
全站高频重扫在带宽与算力上都不现实。抓取资源需要按分区的访问密度与内容更新速度来分配,热点分区提频,冷门分区降频,是成本与可用性之间的折中。
热点分区内容变化快,2 小时一轮能保证结果基本跟得上;冷门分区内容相对稳定,6 小时一轮对实际使用影响有限。这个差异不是随意定的,而是根据访问与更新数据推出来的。
可以改,但改完就指向另一份东西了。
这个值是由内容结构计算出来的,改动意味着与原始内容解绑。改后的值要么指向一个不存在的目标,要么碰巧指向另一份内容,前者导致定位失败,后者导致下错东西。
它只适合被读取和比对,不适合被编辑。需要区分同名内容时,比对哈希值是最可靠的方式;需要校验下载完整性时,也靠这个值判断,而不是靠文件名或大小。
采集范围与刷新档位不同,覆盖自然不一样。
各站爬虫扫描的页面集合不同,一个站抓到的来源另一个站可能从未触及。这种情况下不是内容不存在,而是没有被采到,换一个站点就能找到。
即使两个站都采到了,刷新档位不同也会导致入库时间差几小时。刚发布的内容在这段时间里可能只出现在刷新更勤的那一个站上,这属于正常的机制差异。
不会。这里只解析协议原理与索引机制,不提供任何链接或文件。
本站是 BT 协议与 DHT 网络原理的科普整理,内容围绕握手流程、哈希机制、采集方式与刷新策略,不涉及具体资源的存放、索引与分发。
请通过正规渠道获取影视与软件内容,支持正版发行。协议原理本身是中性的技术知识,了解它和怎么用它应当分开看待。
看看大家读完之后对协议与刷新机制的理解变化
说说你对 BT 或 DHT 的疑问,或者希望补充说明的环节,留言会展示在这里
握手要先核对 info hash 这一点以前完全没注意过,只知道连上就能下。理解了之后才明白为什么有时候节点明明连上了却下不动——根本就不是同一份内容。
逐跳收敛这段讲得好。以前以为 DHT 是到处广播找,看完才知道是按距离定向逼近,几跳就到位。理解了原理,就不觉得它神秘了,也明白为什么它扛得住。
分块校验这个机制以前只知道有,不知道具体怎么起作用。现在清楚了——每个块收到都比对,不对就丢,这才是文件完整性真正的保障来源,不是下载器自己聪明。
终于搞懂为什么两个站结果不一样了。以前以为是内容多少的差别,看完才知道是分区刷新档位不同,热点区两小时一轮,冷门区六小时。这个解释一下子说通了。
原来磁力链接后面那串十六进制就是 info hash 本身,怪不得那么短。以前还以为是加密过的什么东西,现在明白它携带的只是一个标识,不是完整文件清单。
"爬虫只采链接和元数据,不碰文件本体"这句说得够明确。之前一直以为站点存了所有资源,理解了之后就明白为什么索引库体量小,也明白为什么记录会失效。
按哈希比对入库、已存在只更新时间戳,这个设计挺合理。同一份内容被采到十次也只占一条记录,列表不会因此膨胀,来源信息还都保留着。
哈希格式异常单独标记这个做法很实在,长度不足或者字符越界的值混进来确实会误导人。标出来之后至少知道这条不能直接拿来用,不会白白折腾。
四十位十六进制在手机上以前真的是噩梦,一行撑出去老远。现在能换行显示,读起来顺畅多了,通勤路上看几段原理说明也不别扭。
只讲协议原理不提供任何链接,这个边界划得很清楚。技术知识值得了解,但了解机制和怎么使用确实是两件需要分开的事,这个分寸挺好。