rpyc 回调模式工作不正常

rpyc 回调模式工作不正常

最近使用了 rpyc 来处理一个多节点间的文件同步的任务，目标是使用 rpyc 来实现简单的 p2p 文件传输机制，以减少单点负载和单点失败对传输的影响。

和 p2p 的基本设计一下，在设计时，对文件进行了分块处理，并为每一块加上了校验。每个分块的情况和校验码保存成一个元数据文件。使用的校验算法是 python 的 zlib 模块里面的 adler32 ，简单高速。并为每个文件节点加上简单的并发上传、下载数量限制。

下载时，节点从 rpyc 的 registry 发现文件节点服务，并查询这个节点的可用文件列表和文件下载进度，从中挑选若干个节点进行下载，并更新自身的文件下载进度，供后续节点继续从此节点下载。

在处理 rpyc 的远程调用时，原本是通过异步调用的方式从远程读取数据的，然后再通过回调函数 callback 将拿到的数据写入到本地文件中。调试时代码工作正常，日志正常。

但到了测试环境运行时，就发现一个现象，异步调用的回调函数永远没有执行！ 这个现象很怪，从被下载的节点的日志上可以看到已经进行了调用并返回数据，但是下载节点就是不进入回调函数并处理数据。在调试了很多次代码之后，还是没有找到确切的原因。

因此，把这段代码换成了多线程的方式，使用了线程池来处理每个块的下载。这下就工作得很好了，除非刚好拥有某个文件的节点都下线了，否则随便掉几个节点并没有实质的影响。

现在猜测可能是跟 python 本身的运行机制有关系，导致了 rpyc 的回调没有正常工作，后面再研究。