TVM 高效保护隐私 ML

TVM 高效保护隐私 ML

这篇文章描述了Myelin，一个在值得信赖的硬件飞地中保护隐私的机器学习框架，以及TVM如何使Myelin快速。关键的想法是，TVM，不像其它流行的ML框架，将模型编译成轻量级，优化，免费依赖库，可以适应资源有限利用。

尝试创建保护隐私的ML模型！查看 TVM可用的repo示例代码。

目的：隐私保护ML

机器学习模型受益于庞大而多样化的数据集。遗憾的是，使用此类数据集通常需要信任集中数据聚合器或计算提供商。对于敏感的应用程序，如医疗保健和金融，这是不可取的，因为可能会损害患者的隐私或泄露商业机密。安全和隐私保护计算（包括可信执行环境和差异隐私）的最新进展为相互不信任的各方提供了一种方法，在不影响训练数据的情况下，高效训练机器学习模型。使用TVM快速保护隐私ML框架。

使用案例

• 私人 MLaaS：云提供商在数据上运行架构。获得模型输出，数据保持私密性，云提供商知道无法窃取模型。
• 值得信赖的ML比赛：训练一个模型的比赛数据。竞赛组织者向模型发送私人测试数据，并获取可验证的准确性报告。模型保持安全，直到组织者决定购买。其他参与者不能通过测试数据训练作弊。
• 共享私人数据训练：（研究人员）希望对几家医院的数据进行模型训练。直接共享太复杂了。相反，让"受信任的第三方"训练隐私保护模式。
• 区块链上的ML

背景

受信任的执行环境

受信任的执行环境（TEE） 基本上允许远程用户在不向硬件提供商透露计算的情况下，在人的计算机上强制运行代码。

技术上，TEE 提供了隔离/加密内存和 CPU 寄存器的安全区域;也是一个值得信赖的随机性来源。TEE 还可以发送已加载代码的签名证明，以便远程用户可以验证飞地是否正确加载。这个过程，称为远程证明，可用于建立一个安全的通信通道进入区域。然后，远程用户可以提供私钥、模型参数和训练数据等机密。

与安全多平价计算 （MPC）和全同构加密 （FHE）等纯加密方法相比，TEE 是几个数量级更快，支持通用计算（即不只是算术操作）。也许唯一的缺点是信任硬件key（将密钥集成到处理器）和加载软件中的附加信任假设。

尽管存在信任假设，TEE 技术正变得越来越普遍，并在实际隐私保护方面发挥着重要作用。事实上，通用TEE已经存在于商品硬件，如英特尔SGX和ARM信托区。此外，全开源 Keystone enclave即将上路。

差别隐私

差异隐私 （DP）提供了正式的保证，即在类似数据集上训练的模型，在非正式上是无法区分的，用户的隐私不会因为选择向模型贡献数据而受到影响。

换句话说，鉴于算法在两个数据集上的输出仅在单个记录中有所不同，差异隐私上限限制了对手确定哪个数据集的概率。使用为算法输出增加噪音的机制，可以制作 DP 算法。噪声量根据输出取决于任何特定输入的程度进行校准。熟悉假设测试，如果结果 A 和 B 各有概率 0.5，则应用 DP 机制就像与概率分布的汇合：隐私位于误报和假负率中。由于深度学习模型往往概括良好，噪音量往往低于预期。

在 TEE 中运行 DP 训练算法可确保忠实地应用 DP 机制。

使用 TVM 高效保护隐私 ML

使用 TEE 工作的主要挑战之一是，运行在内部的代码无法访问不受信任的操作系统。这意味着受信任的软件无法创建线程或执行 I.O 。实际上结果，像 OpenBLAS 这样的数字库（更不用说像 PyTorch 和 TensorFlow 这样的框架）不能直接在飞地中运行。

TEES 实际上具有与资源约束的硬件加速器类似的编程模型。这正是TVM的用之用！在隐私工作流程中，用户首先用高级图形规范语言定义整个训练图。TVM编译模型并输出包含优化数值内核的静态库，这些内核可以轻松加载到 TEE 中。由于内核是自动生成的，并且具有严格的边界检查，暴露了低表面积的攻击。由轻量级内存安全锈runtime支持，也很容易被审查的安全性和正确性。

当然，安全在实际适用时最有用。幸运的是，飞地中的 TVM 模块具有与基于本地 CPU 的训练类似的性能。通过使用不受信任的runtime协调线程，单个 TVM 飞地可以充分利用其主机的资源。此外，不难想象一个安全参数服务器，协调了整个数据中心飞地的机器。

TVM 也为更细微的隐私保护算法提供更微妙的优化机会。事实上，细粒格的调度功能允许使用差分隐私时加快速度。例如，从剪切每个训练示例的梯度，向每个添加噪音中，可以获得最严格的 DP 界限。在自动完成框架中，这需要转发 minibatch 中每个示例的模型（尽管只需要一个向后传递）。使用 TVM，每个示例的渐变剪切很简单：在批次和功能尺寸上，将每次权重更新，重排为单次减量，而是将减量分为两部分。减少功能后，剪切和noising，然后最终的结果总结的例子，以获得重量更新。因此，TVM 允许应用差异隐私，而无需引入高于技术要求的开销。此外，如果一个人真的想要得到真正的cost，可能融合剪裁和noising操作，应用到位，以进一步削减延迟和内存的使用。