Reliable Federated Learning for Mobile Networks

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 以下是对本文关键部分的摘抄翻译，详情请参见原文。

arXiv: 1910.06837v1 [cs.CR] 14 Oct 2019

Abstract

　　联邦学习是一种很有前途的机器学习方法，它利用来自多个节点（如移动设备）的分布式个性化数据集来提高性能，同时为移动用户提供隐私保护。在联邦学习中，训练数据广泛分布在移动设备上，作为用户得到维护。中央聚合方通过使用移动设备的本地训练数据从移动设备收集本地更新来更新全局模型，以在每次迭代中训练全局模型。然而，不可靠的数据可能被移动设备（即用户）上传，从而导致联邦学习任务中的欺诈。用户可能故意执行不可靠的更新，例如数据中毒攻击，或无意执行，例如由能量限制或高速移动引起的低质量数据。因此，在联邦学习任务中找到可信和可靠的用户变得至关重要。本文引入信誉的概念作为度量标准。在此基础上，提出了一种用于联邦学习任务的可靠用户选择方案。联盟链被用作一种去中心化的方法，以实现对用户的有效信誉管理，而无需拒绝和篡改。通过数值分析，证明了该方法可以提高移动网络中联邦学习任务的可靠性。

I. INTRODUCTION

　　配备各种传感器的移动设备，如智能手机或车辆，会产生大量不同类型的用户数据[1]。近年来，为了极大地改善移动服务和实现更智能的移动应用，利用机器学习技术来训练此类用户数据的模型越来越流行，例如服务推荐和移动医疗[2]。然而，大多数机器学习技术需要将大量具有敏感隐私信息的用户数据聚合到一个中心服务器中进行模型训练和分析。这导致通信和存储成本过高，移动用户面临严重的隐私泄露风险[3]。

　　为了解决隐私问题，提出了一种称为联邦学习的分布式机器学习范式，使移动设备（如车辆）能够分布式协同训练中央聚合器（即任务发布器）所需的全局模型，而无需集中存储原始训练数据。在联邦学习中，移动设备在每次迭代中从中央聚合器下载一个全局模型，然后使用其本地原始数据训练和改进当前的全局模型。移动设备将本地模型更新发送到中央聚合器。通过聚合这些本地模型更新，中心聚合器为下一次迭代生成一个新的全局模型。移动设备和中央聚合器都重复上述过程，直到全局模型达到一定的精度为止[4]。这种范式通过将模型训练与直接访问原始训练数据的需求分离，显著降低了敏感隐私泄露的风险[3]。

　　虽然联邦学习为移动网络带来了巨大的好处，但在其初级阶段仍然容易受到各种对抗性攻击。也就是说，在联邦学习过程中，数据所有者可能通过有意或无意的行为误导全局模型[5]。对于有意行为，攻击者可以发送恶意更新，即中毒攻击，影响全局模型参数，导致当前协作学习失败。作者在[6]中通过实验证明了联邦学习对sybil-based中毒的易损性，并证明了现有的对此类攻击的防御是无效的。此外，更加动态的移动网络环境间接导致了数据所有者的一些无意行为。数据所有者也可能由于高速移动性或能量限制而不自主地更新低质量的模型，从而对联邦学习产生不利影响。因此，对于联邦学习来说，防范这种有意或无意不可靠的本地模型更新是至关重要的。

　　在本文中，我们建议可以使用信誉来提供解决方案，以便为联邦学习任务选择可靠和可信的用户。已有的研究[1][7]表明，根据历史行为，信誉可以反映一个实体在某些活动中的可靠或可信的评级。受此启发，我们将信誉作为一个公平的度量标准，并设计一个基于信誉的用户（即数据所有者）选择方案，以实现可靠的联邦学习。在信誉的帮助下，每个任务发布者只选择高信誉的用户来消除不可靠用户的影响，从而导致学习任务的高准确性[5]。每个任务发布者通过一个主观逻辑模型计算每个交互用户的信誉度。在主观逻辑模型中，任务发布者根据过去的交互和来自其他任务发布者的推荐意见整合自己的意见[1],[7]。任务发布者对工作人员的所有信誉意见都应以不可否认和防篡改的方式记录下来，以便可靠地计算信誉。

　　为了在联邦学习中实现可靠的信誉计算和信誉管理，我们设计了一个联盟链作为可信的分布式账本，记录和管理数据所有者的信誉。联盟链是一种特定的区块链，在短时间内以较低的成本对预先选定的矿工执行一致性过程[1],[7]。在移动网络中，由于具有足够的存储和计算资源，边缘节点（例如路边单元和基站）通常部署在网络上，并且容易被任务发布者和移动设备访问，因此可以是预先选择的矿工[7]。数据所有者的信誉值被安全地管理并存储在由边缘节点组成的联盟链上。联盟链是一种高效、实用的区块链技术，对矿工运行轻量级、快速的共识机制。本文的主要贡献概括如下：

• 为了防御不可靠的模型更新，引入信誉作为可靠的度量来选择可信的用户进行可靠的联邦学习。

• 采用多权重主观逻辑模型，根据任务发布者的交互历史和推荐的信誉评价，设计了一种有效的信誉计算方案。

• 为了实现安全的信誉管理，通过在边缘节点部署联盟链，对信誉进行分布式管理。

II. FEDERATED LEARNING AND ITS VULNERABILITIES

A. Federated Learning and Its Mobile Applications