联邦学习-拜占庭攻击与防御

摘要

这篇文章是我的课程小论文

由于人们对个人隐私的需求不断增加,联邦学习(称为 FL)成为一种有效的替代传统深度学习架构的方法。 然而,FL 的应用仍然面临恶意软件的威胁。攻击,尤其是拜占庭攻击。 在过去几年间,攻击策略与防御机制研究已经引起了全世界的关注。 在本文中,我们提供了一个最新进展的综合调查和教程拜占庭的进攻和防御。 具体来说,我们首先简要将拜占庭攻击分为不同的类别。 第二,我们将当前的拜占庭防御机制分为三类不同种类。 然后,我们分析当前的防御机制反馈并为他们提供一些新的解决方案。

引言

自然语言处理、计算机视觉和异常检测中的深度学习任务已经 应用在我们日常生活和社会的许多方面。 此类任务需要庞大的数据集来学习复杂的规则。 通常,这些大型数据集是从用户那里获得的 应用程序,例如应用程序的用户。开发者收集数据 用户并使用它来构成一个数据集。尽管如此, 近年来,社会关注的爆炸式增长 个人隐私,这使得无法直接 从用户那里获取数据。每个人存储的数据 被称为“孤立数据岛”。 “孤立无援”的存在 “数据岛”推动隐私保护的发展 联邦学习 [1] [2](称为 FL)等技术。 FL 是一种保护隐私的机器学习技术 使中央服务器无需训练即可训练全局模型 访问用户的数据。在FL中,中央服务器只需要 使用用户的梯度更新来训练其全局模型 用户的私人数据。除了保护一个 个人隐私,FL也缓解了中央的压力 服务器利用分布式计算和存储的力量。 FL 很快被许多公司应用。 Google 打造了世界上第一个产品级可扩展的移动设备 基于TensorFlow1的FL系统。它的 FL 系统可以是 在数千部手机上运行。此外,一个团队 微众银行开发了一个名为 FATE2 的 FL 框架 [3] 用于信用风险预测。

在 FL,来自不同来源的数千名客户参与了培训过程。如此大规模的分布式系统也给联邦学习带来了安全问题。 以前的研究人员已经研究了 FL 的隐私问题并提供了他们的方案 [4] [5]。此外, FL 客户端可能被恶意操纵或中毒 攻击者。研究人员称此类攻击为拜占庭式攻击 指无线通信网络中相同类型的攻击 [6]-[10]。恶意客户端上传 通过中毒向中央服务器错误的梯度更新 客户端的数据集或直接修改梯度 更新。错误的梯度更新导致全局更新 由中央服务器聚合学习错误知识 从客户。因此,它们导致全局模型 由中央服务器保存无效。归类于 攻击的结果,拜占庭攻击分为 有针对性的攻击和无针对性的攻击。在无针对性的攻击中 [11]-[14],受干扰的全局模型产生不正确的 随机预测测试数据集。在有针对性的同时 攻击 [15]-[19],全局模型为以攻击者选择的确定模式测试数据集。

一些拜占庭健壮的方法已经被提出前研究人员解决恶意拜占庭客户端在 FL [20]-[29] 的应用场景中。 Byzantinerobust 方法旨在制定一个全局模型存在有限数量的恶意软件时的准确性客户。我们将拜占庭稳健方法分为两种主要类型根据其不同的机制。这第一个(称为拜占庭检测)的核心是设置一个拜占庭健壮的聚合规则,它区分来自良性客户的可疑客户。然后服务器排除可疑客户在应用之前的梯度更新为聚合。例如,在 DRACO [21] 中,每个节点评估参数使用的冗余梯度
服务器以消除对抗性更新的影响。尽管另一类拜占庭稳健方法(称为拜占庭容错)的关键思想是确保聚合容忍拜占庭客户端中毒更新的进程不抛开拜占庭客户,如 Median[23]。 FL 服务器使用 Median 对每个值进行排序参数并挑选出每个参数的中值作为涉及更新全局模型的值。然而,最近的研究 [13] 表明现有的方法仍然容易受到拜占庭攻击。

拜占庭攻击方面的研究

模型下毒攻击

一种强大的攻击是模型更新 中毒攻击。 在模型更新中毒攻击中,模型 发送给服务提供者的梯度更新可以被恶意客户端操纵。 在联邦的设置中 学习,模型更新攻击可以通过 maclious 直接破坏客户端的更新 客户端或由恶意攻击者控制的客户端,或 某种中间人攻击。 假设 在本节中直接更新操作,因为这 严格提升攻击者的能力。 所以, 我们假设攻击者(或攻击者)有能力 直接控制一定数量的客户端,以便他们可以 直接毒害这些客户的输出以试图偏向 朝着他们的目标学习模型。

联邦学习中的拜占庭攻击可以参考拜占庭威胁模型的问题,其中 分布式系统中的故障可能导致任意输出 整个系统的 [30]。 扩展这一点,对抗性攻击 在分布式系统中是拜占庭式的,如果恶意 攻击者可以导致分布式系统提出 任意输出。 因此,可以查看拜占庭攻击 作为对给定计算集的最坏情况非针对性攻击 节点。 由于这种最坏情况的行为,我们讨论了 非针对性攻击将主要集中在拜占庭式攻击上。 然而,我们注意到防守者可能有更多的影响力 对抗更良性的非针对性威胁模型。

在联邦学习的背景下,我们将专注于对手控制一定数量的客户端的设置。而不是发送准确的本地模型梯度更新到中央服务器,这些拜占庭客户端发送任意“毒化”中心模型的价值观。 这可能导致不正确的中央全局模型的聚合,甚至导致分歧[20]。 更糟糕的是,如果拜占庭攻击者可以访问白盒模型或其他良性非拜占庭客户端更新,他们能够伪装他们的模型梯度更新以使用与正确的模型更新具有相似的方差和幅度,使它们难以检测。 灾难性的拜占庭攻击的潜力刺激了以下工作
分布式拜占庭弹性聚合机制学习 [20][21][23][31]-[33]。

数据下毒攻击

一种潜在的强大攻击类型是数据中毒 攻击。 在这种类型的攻击中,恶意攻击者会 无法直接更改梯度更新 发送到中心节点。 相反,对手只能 通过更改标签或特定功能来控制客户端数据 的客户数据。 同模型更新中毒,数据 中毒可以用于有针对性的攻击 [14], [34] 和无目标攻击 [16]、[35]。 这种攻击模型可能 当对手只能在边缘操作数据收集过程时,要更加现实 联邦学习系统,但不能直接破坏 联邦学习系统中的模型更新过程 (例如模型更新)通过直接控制客户端或 执行 MITM 攻击

二者的联系

由于数据中毒攻击最终会导致客户端向服务器的输出发生一些改变,我们可以得出结论 数据中毒攻击会导致模型中毒 攻击。虽然数据中毒攻击更容易执行 实际上,Bhagoji 等人最近的工作。 [12] 表示 数据中毒可能比模型中毒弱 在某些环境中进行攻击,尤其是在有限的环境中 参与率。一项有趣的研究是确定 这两种攻击之间的差距并分析 在这些攻击下运作的对手的相对实力 这个差距的模型。例如,最大数量 可以执行数据中毒攻击的客户端可能是 远高于可以执行模型更新的数量 中毒攻击,尤其是在跨设备设置中。因此, 理解这两种攻击之间的关系 类型,特别是因为它们与对抗性的数量有关 客户,将极大地帮助我们了解威胁 联邦学习中的景观。

拜占庭防御方面的研究

近年来,人们对 FL 背景下拜占庭稳健方案的研究。 目前大多数拜占庭稳健的 FL 方法倾向于 制定一个更强大的聚合规则,旨在容忍 拜占庭客户的存在。

2017 年,陈等人。开发了一种方法 Krum [20]。 Krum 选择一个客户的更新作为基于 每次迭代中的平方距离分数。 此外,布兰查德等人。提出了两个拜占庭容忍 FL 聚合算法修剪均值和中值 [23]。 修剪均值用作稳健的聚合规则,它 也容忍拜占庭攻击者的存在。它 单独考虑模型更新的每个参数。 Trimmed Mean 对模型更新的参数进行排序 集。给定参数 k,Trimmed Mean 删除 最大的 k 值和最小的 k 值。然后修剪 均值计算全局模型的参数值 使用剩余的 n − 2k 个值的平均值进行更新。 Median 对所有局部模型的每个参数的值进行排序 更新也是如此。它考虑了每个的中值 参数作为全局模型中参数的值 更新。 2018 年,陈等人。为 Draco 设计了一种方法 评估参数使用的冗余梯度 服务器以消除对抗性更新的影响。 2019 年,Zeno [22] 使用基于排名的偏好 机制。服务器使用随机零阶预言机为每个客户端计算一个分数。然后芝诺提出了一个 客户排名列表基于估计的下降 损失函数和大小。最后,芝诺计算 通过将客户端与 最高分。 2020 年,谢 [36] 等人开发的 SLSGD。还用 修剪均值作为拜占庭鲁棒 FL 的稳健聚合规则。 同年,曹等人。提出了一个拜占庭容忍 框架:FLTrust [24] 介绍了信任的使用。每一个 迭代,服务器计算每个客户端的信任分数 首先。然后服务器提供一个根数据集来更新 全局模型,并为每个客户端更新其本地模型。 如果客户的本地模型,客户的信任度会降低 更新的方向偏离更多的方向 全局模型更新。当一位客户的信任评分较低时 在一定的分数下,客户端被认为是恶意的 客户。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注