要让AI绘画模型“乖”起来，现在调整模型参数只需3秒。

效果是：生成的风险图像比之前最好的方法减少了30%！

这样，在完全去除梵高绘画风格的同时，对非目标艺术风格影响不大。

在去除裸露内容方面，效果是“只穿衣服，不改变结构”。

这就是复旦大学提出的新概念去除方法——RECE。

目前，基于扩散模型的人工智能生成的图像有时难以辨别真假，经常被恶意用户用来生成侵犯版权、包含风险内容（如假新闻、暴力色情内容）的图像。

SD中使用的安全措施是使用安全检查器，它不会显示非法生成的图像，并且还集成了一些使用无分类器引导的方法来避免风险概念。

但在开源条件下，恶意用户可以轻松绕过这些机制。网上还有很多教程.

针对此，学术界提出了“概念去除”，即通过微调去除文森图扩散模型中的特定风险概念，使其不再具备生成相应内容的能力。

该方法的资源消耗远低于从头重新训练的SD v2.1版本，并且无法轻易绕过。

RECE 的最新研究抓住了消除SOTA 效应的概念，并对不相关概念造成最小的损害。论文已被ECCV 2024接收。

整个过程基于高效的解析解

此前，概念去除虽然进展迅速，但其问题依然明显：

现有方法为了安全而牺牲了更多的发电质量。即使现有的方法对模型造成很大的损害，仍然无法完全去除不适当的概念，并且很有可能生成有风险的图像。大多数方法需要大量的微调步骤并消耗大量的计算资源。那么RECE是如何实现的呢？

RECE主要包含模型编辑和嵌入推导两个模块。

首先，RECE以分析解的形式将风险概念映射到交叉注意力层中的无害概念。

RECE 然后以分析解决方案的形式导出风险概念的新嵌入表示，并用于下一轮模型编辑。

RECE还包含一个简洁有效的正则项，可以证明其对模型能力的保护作用，从而保证概念去除可以多轮交替进行。整个概念去除过程基于高效的分析解决方案。

风险概念嵌入推导

RECE 的有效性来自于对现有方法概念没有完全删除的观察：

使用“裸体”作为提示词，SD生成裸体图像，UCE（概念去除方法）成功避免了裸体内容的生成；然而，通过输入有意设计的提示词或文本嵌入，UCE 再次生成了裸露内容。

为了指导编辑后的模型重新生成裸露内容，我们将以“裸露”为例介绍RECE如何推导上述攻击性概念嵌入。

既然是文生图，我们首先来思考一下文本引导机制——交叉注意力。

SD使用CLIP作为文本编码器来获取提示词的嵌入形式，并获取key和value。与表示视觉特征的查询一起，获得输出：

如果可以获得一个新的概念嵌入，满足编辑后的交叉注意力映射，并且足够接近编辑前的映射值，那么它应该能够诱导裸体图像的生成：

上式是凸函数，因此有解析解，不需要繁琐的梯度下降近似解：

模型编辑

接下来RECE将编辑交叉注意力以去除风险概念。 RECE借鉴了现有方法UCE，利用解析解一步编辑交叉注意力的权重，避免了繁琐的微调。

给定一个“源”概念（例如“裸体”）、一个“目标”概念（例如空文本“”）和交叉注意力的K/V 投影矩阵，UCE 的目标是找到新的权重和将新权重向下推映射值与对齐。

后两项是控制参数变化，尽量减少对不相关概念的影响。这也是一个凸函数，将解析解直接分配给新的权重：

正则项

理想情况下，删除公式（5）将避免生成裸体，但团队发现这会极大地损害模型的能力。

因此，在相邻两轮概念去除中，RECE约束了不相关概念的映射值的变化：

对于学过线性代数的同学来说，是不是觉得很熟悉？

利用矩阵范数的相容性，证明：

因此，在推导过程中简单地添加范数约束就可以保护模型的能力：

其解析解为：

综上所述，RECE的算法流程可以概括为：

RECE效果如何？

删除了不安全概念

让我们从最敏感的内容开始，—— 色情内容。在I2P基准数据集上，RECE的裸露去除效果超过了所有现有方法。

团队还评估了概念去除后模型的正常内容生成能力，即不相关概念集COCO-30k上的FID指数，这也远远优于CA等方法。

艺术风格去除

保护艺术版权免受人工智能侵权也非常敏感。从综合效果来看，RECE优于所有方法。

并且详细来说，RECE是唯一在目标艺术家的擦除效果和不相关艺术家的保留效果上都表现良好的方法。

红队稳健性

RECE还可以有效防范恶意用户的故意攻击。在红队攻击下，RECE 生成风险图像的几率仍然最低。

模型编辑需要时间

RECE 5个epoch仅需3.4秒，参数变化率和编辑时间远低于CA等方法。 UCE也需要很短的时间，但UCE的概念去除效果与RECE有很大不同。

研究团队专注于人工智能安全研究。近年来在CVPR、ECCV、AAAI、ACM MM等顶级会议发表多项AI安全研究成果。

论文地址：https://arxiv.org/abs/2407.12383 代码地址：https://github.com/CharlesGong12/RECE

- 超过-