SAKE：基于激活导向的知识编辑技术

SAKE：基于激活导向的知识编辑

随着大型语言模型被证实能够记忆现实世界知识，如何以可控且高效的方式更新这些知识成为关键需求。为此，知识编辑（KE）方法提出对预训练模型中的特定知识进行修改。然而，现有方法存在诸多局限，包括缺乏上下文鲁棒性，以及无法泛化到与知识相关的逻辑推论。

为解决这些问题，我们提出SAKE方法——一种基于激活导向的知识编辑技术。该方法创新性地将待编辑知识建模为概率分布（涵盖释义文本和逻辑推论），而非单一提示。通过最优传输理论，SAKE能够在整个知识相关分布上调整语言模型的行为。

实验结果表明：相比现有方法，SAKE能实现更鲁棒的知识编辑效果。该方法主要技术贡献包括：

1. 知识分布建模框架
2. 基于最优传输的激活向量优化
3. 支持多粒度知识更新的技术架构
   
   更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
   
   公众号二维码