祝大家这周圣诞快乐！！本周进军多模态！😀From LLMs to MLLMs:😜Exploring the Landscape of Multimodal Jailbreaking

从LLMs到MLLMs:探索多模态越狱攻击的前景

禁止盗用，侵权必究！！！欢迎大家积极举报

①脆弱性代表：越狱攻击(恶意指令/训练&解码干预)。

②最近的越狱攻击：

整体说：构建越来越复杂场景的评估基准，提出先进的攻击方法和相应的防御策略。

攻击类：探索不同领域&不同任务格式中各种类型的伤害的越狱数据集；调查越狱提示、微调和解码的各种机制。

防御类：有害查询的预检测；有害输出的后处理；通过SFT或RLHF实施的安全对齐增强LLMs对对抗性攻击的抵抗力。

与对LLMs越狱攻击和防御的广泛研究相比，MLLMs越狱仍处于探索阶段。

碎碎念：增强的指令遵循能力增加了双重用途风险，使这些模型容易滥用。

---

"长尾"领域（Long-tail Domains）：通常指的是在数据分布中，那些出现频率非常低但种类繁多的数据类别。在机器学习和人工智能领域，"长尾"领域指的是那些在训练数据中不常见或被低估的类别或场景。这些领域可能因为数据稀缺、多样性不足或缺乏关注而难以被模型充分学习和泛化。eg.自然语言处理中，可能包括罕见的语言、方言或特定领域的专业术语。在多模态大型语言模型（MLLMs）中，可能涉及不常见的图像类型或与图像相关的特定任务。

---

碎碎念：

不匹配的泛化案例：例如，将指令编码为Base64，将每个数据字节转换为三个文本字符，可以使LMs混淆，从而偏离安全指导方针并产生不期望的输出。

“影响了有害查询的识别和过滤”我感觉是这样的，因为目前有研究表明，LLM只会检查输出是否合规，而LLM在输出中有复述输入的趋势。

“增加了生成有害响应的可能性”因为不会阻断有害响应生成，所以生成有害内容的可能性也增加了。

“基于图像的域转移”（Image-based Domain Transfer） 是一种攻击策略，它涉及到将图像从一个领域（或上下文）转移到另一个领域，以绕过或干扰模型的安全机制。

领域 的理解：在机器学习和人工智能中，领域（Domain）指的是数据的来源或类型，上下文（Context）指的是数据出现的环境或场景。例如，一个模型可能在一个领域（如医疗图像）上训练得很好，但在另一个领域（如交通监控图像）上可能就不太有效。

域转移的动机： 攻击者可能会尝试将图像从一个领域转移到另一个领域，以测试或绕过模型的安全限制。例如，一个在安全领域（如文本处理）训练有素的模型可能没有针对特定类型的图像内容（如恶意图像）建立足够的防御机制。

---

扩散模型（Diffusion Models） 是一类生成模型，它们通过模拟一个过程，在这个过程中，数据的某些特征逐渐被噪声“扩散”或覆盖，然后学习如何逆转这一过程来生成数据。这种模型最近在生成图像、音频和其他类型的数据方面取得了显著的进展。

检索增强生成（Retrieval-Augmented Generation）

检索增强生成是一种结合了检索（Retrieval）和生成（Generation）的自然语言处理技术。这种方法的核心思想是利用检索系统从大量数据中找到与当前任务相关的信息，然后将这些信息用于生成模型，以产生更加准确和丰富的输出。

基于多模态输入的工具使用场景

基于多模态输入的工具使用场景涉及到处理和分析和整合多种类型的数据（如文本、图像、声音等）的应用。在这些场景中，系统需要理解和处理不同类型的输入，以提供更加丰富和有效的输出。