Robust and Communication-Efficient Federated Learning from Non-IID Data

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 以下是对本文关键部分的摘抄翻译，详情请参见原文。

arXiv:1903.02891v1 [cs.LG] 7 Mar 2019

Abstract

　　联邦学习允许多个参与方在其整合数据上联合训练一个深度学习模型，而无需任何参与方将其本地数据透露给一个集中的服务器。然而，这种形式的隐私保护协作学习的代价是训练期间的大量通信开销。为了解决这个问题，分布式训练文献中提出了几种压缩方法，这些方法可以将所需的通信量减少三个数量级。然而，这些现有的方法在联邦学习设置中的实用性有限，因为它们只压缩从客户端到服务器的上行通信（而下行通信未压缩），或者仅在理想化的条件下良好地执行，例如客户端数据的IID分布，这通常不符合在联邦学习的实际情况。在这项工作中，我们提出稀疏三元压缩（Sparse Ternary Compression，STC），这是一个新的压缩框架，专门为满足联邦学习环境的要求而设计的。STC用一种新的机制扩展了现有的top-k梯度稀疏化压缩技术，以实现下游压缩以及权重更新的三元化和最优Golomb编码。我们对四种不同学习任务的实验表明，在常见的联邦学习场景中，STC明显优于联邦平均，在这些场景中，客户机 a）持有non-iid数据，b）在训练期间使用小批量，或者 c）客户机数量多，参与每轮通信的比率低。我们进一步表明，即使客户持有iid数据并使用中等大小的批量进行训练，STC仍表现出与联邦平均的优势，因为它在较少的训练迭代和较小的通信预算内，在我们的基准上达到固定的目标精度。这些结果支持联邦优化向高频低比特带宽通信的范式转变，特别是在带宽受限的学习环境中。