字节-大模型联邦精调方案

转载学习：字节跳动安全研究团队公布大模型联邦精调最新研究进展
论文：https://arxiv.org/pdf/2312.15603

概述

字节跳动安全研究团队联合南京大学在⼤语⾔模型联邦精调领域发布了研究论文 A Split-and-Privatize Framework for Large Language Model Fine-Tuning 。该论文主要关注在模型即服务 (Models-as-a-Service, MaaS) 场景下，大语言模型 (Large Language Model, LLM) 精调服务中模型和数据的隐私问题。
论文提出了一种基于分割学习的“分割-隐私化” (Split-and-Privatize, SAP) 联邦精调框架，能够在保障模型和数据隐私的同时，有效提升模型在下游任务上的可用性，为大语言模型精调服务的实际应用落地做了更多探索努力。
研究背景

近年来，以BERT和GPT为代表的预训练语言模型 (Pre-trained Language Model, PLM) 展现出了强大的文本学习能力，并被广泛应用于金融、法律和医疗保健等多个领域。为了扩展预训练模型在更多领域应用，常见的方法是使用下游任务相关的数据集对模型进行精调。但是受计算资源和技术限制，大多数用户并没有能力独立完成精调任务。
当前，主流的MaaS服务商通常拥有充足的训练资源和技术储备，提供了丰富的预训练模型和强大的训练服务。因此，越来越多的用户开始使用MaaS服务商提供的能力，即云服务模型，利用自身的私有数据集，通过选择合适的预训练模型进行精调，得到符合其特定需求的大语言模型。
然而，这一模式在为用户提供便利的同时，也带来了隐私泄露的风险。一方面，某些预训练模型出于知识产权保护目的，无法向用户直接公开；另一方面，用户的训练数据可能包含个人身份信息、商业机密等信息，直接披露给服务商会导致严重的隐私泄露风险。

核心问题：用户在使用云服务厂商提供的在线模型微调服务时，需要将训练数据上传，会引发隐私泄露风险。
本方案目的：解决是在微调过程中保护模型信息和用户数据隐私

针对上述问题，字节跳动安全研究团队在深入调研隐私攻击手段和数据扰动算法的基础上，提出了一种基于分割学习的SAP联邦精调框架，为模型信息和用户数据隐私提供了良好的保护效果，并对模型可用性和隐私性之间的权衡进行了探讨。
技术方案

总体框架

为了在实现LLM定制的同时保护服务商的模型隐私和用户的数据隐私，论文提出了一种基于分割学习的SAP框架，下图给出了该框架的一种实现。

从整体架构上来看，预训练模型被分为服务商侧的顶层模型和用户侧的底层模型。在精调时，用户先用底层模型将本地私有数据转换为向量化文本表示，然后自适应地应用隐私保护机制对文本表示进行隐私化扰动，最后再将它们发送给服务商。服务商将接收到的向量化文本表示继续在顶层模型中前向传播，计算模型最终的输出。出于隐私考虑，样本标签也不能离开用户本地，因此服务商需将模型输出发送给用户，接收返回的输出层梯度，并将其用于反向传播更新模型中的可训练参数。SAP框架能够与多种参数高效的精调方法结合以提升精调效率，例如LoRA、BitFit以及Adapter Tuning等。
SAP核心部分包括模型分割、文本隐私化和贡献度衡量，以下分别介绍。
模型分割


在初始化阶段，服务商将预训练模型分割为底层模型和顶层模型，并将底层模型发送给用户。在这一步骤中，进行模型分割的层次是一个重要的选项。如果底层模型只包含嵌入 (embedding) 层，用户的计算负担相对较小，但服务商可以通过最近邻搜索轻易地从传输的表示中恢复输入文本。如果底层模型包含更多编码器 (encoder) 模块，那么从中恢复原始文本就变得更加困难，因为更深层的表示更为抽象和通用。例如在预训练模型RoBERTa-Large（24层）中，底部模型可配置为 嵌入层 + 1~8个编码块（占比