挺有意思的一篇论文 Stealing Part of a Production Language Model(arxiv2403.06634)，给出了一种通过black-box API查询来恢复LLM投影矩阵的方法。实际意义嘛...可以拿来蒸馏？但是成本还挺高的（ 同期工作 Logits of API-Protected LLMs Leak Proprietary Information arxiv/2403.09539 简单讲一下Algorithm 1(其他的看不懂 这里假设攻击者的能力是可以拿到LLM的Logit-Vector API，也就意味着可以拿到每个token对应的logits，注意这里还没有过softmax，所以算法里没有考虑softmax的影响。这个假设其实很强，之后会慢慢放开到目前商用的API。 假设LLM的hidden-dim是$h$，词表大小是$l$。那么我们可以假设一个$n$，也就是查询API的次数，我们希望它比$h$要大。每次查询，我们输入LLM随机的前缀作为Prompt，那么我们会拿到一个长为$l$的logit-vector。 虽然论文里没讲，但这里
摘要 本篇文章采用蜕变测试(metamorphic testing)的原理来寻找可能影响DeepFake检测模型鲁棒性的潜在因素，并缓解其中的Oracle问题。作者对MesoInception-4和TwoStreamNet两种检测模型进行了评估。通过蜕变测试发现化妆应用程序是一种对抗性攻击，可以欺骗deepfake检测器。实验结果表明，MesoInception-4和TwoStreamNet模型在输入数据被施加化妆扰动时，其性能下降高达30%。 Oracle问题：程序的执行结果不能预知的现象在测试理论中称为“Oracle问题”，即无法知道输入的预期结果，导致测试人员只能选择一些可以预知结果的特殊测试用例进行测试，而不能完整有效地进行测试。例如测试sin函数时，并不知道sin(153°)的预期结果。从而无法验证输入为153°时程序的正确性。 蜕变测试：蜕变测试是软件测试中的概念，是一种特殊的黑盒测试方法。蜕变测试依据被测软件的领域知识和软件的实现方法建立蜕变关系(Metamorphic Relation, MR)，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否
摘要 本文对现有Deepfake视频进行对抗性修改来绕过对应的检测器，并且进一步证明这种扰动对图像和视频压缩具有鲁棒性。 攻击原理 目前关于DeepFake视频的检测可以分为两大类。 第一种是通过手工选取的特征以及自然图片的统计/物理特征进行真假区分，然而视频合成方法通过修改它们的训练目标(例如通过Loss函数指导生成器模拟这些人工/统计特征)，从而绕过这种检测。 之前解析的CVPR2023的一篇文章就是采用这种方式绕过检测器 第二种是基于深度神经网络进行检测。首先将视频分解成帧，随后提取帧中的人脸特征并判断。当然现在先进的DeepFake检测器并不是以整张图片帧作为输入，而是先通过面部追踪方法从原始帧中裁剪面部，再经过归一化等变换才输入网络。事实证明这种先验输入可以使检测性能更好。 既然这种视频检测器仍然是通过单帧检测DeepFake，那么如果对视频的每一帧都施加对抗性扰动，理论上就可以欺骗到检测器。 当然现在也有检测器引入时间序列检测deepfake视频，这种检测器使用CNN+RNN架构或3-D CNN模型对帧序列进行处理。文章对这类检测器的代表3-D EfficientNet
摘要 本篇文章做了以下三项工作： 探究高斯噪声扰动对面部提取器的影响 发现可以通过使用新方法生成DeepFakes来绕过现有检测器 发现可以利用数据毒化、后门攻击来绕过DeepFake分类器 第二点现在基本算是共识，所以接下来主要谈1、3两点。 实验设置 数据集来源：FaceForensics++和DFDC 受害模型：对于选择开源的面部提取器Dlib，deepfake检测器选择XceptionNet 面部提取器攻击 攻击方式：向图像帧中每个通道的每个像素都施加均值为0，标准差为$\sigma$的随机高斯噪声。然后通过Dlib提取器提取人脸。如果Dlib输出结果为NULL，说明攻击成功。 这个设置其实对Dlib有利，因为Dlib有可能受噪声影响从而输出不正确的图像 当随着$\sigma$的增加，Dlib的性能逐渐下降，拐点在$\sigma = 0.2$的位置。对于DFDC数据集，Dlib性能下降相比其他数据集快得多。性能下降更快的原因作者认为是FaceForensics++数据集的人脸可能更好提取。 数据毒化攻击 数据毒化攻击主要是对模型训练集进行修改，从而改变模型的性能表
摘要 这篇工作使用对抗性扰动来增强deepfake图像并绕过常见的deepfake检测器。使用FGSM和C&W L2 Attack在黑/白盒场景下进行测试。探测器在未扰动的deepfake上实现了超过95%的准确率，但在扰动的deepfake上的准确率低于27%。文章还探索了对deepfake检测器的两项改进：Lipschitz正则化以及深度图像先验 对抗扰动生成 FGSM这里就掠过不谈了,C&W $L_2$ Attack挺感兴趣的可以查看【学习笔记】对抗攻击：基于优化的CW攻击方法 - 知乎 (zhihu.com) 具体来说，论文使用的CW攻击设置如下。 首先是目标函数$f(x)$，选择 $$ f(\mathbf{x}^{\prime})=\operatorname*{max}(\operatorname*{max}_{i\neq y}\{\mathbf{Z}(\mathbf{x}^{\prime})_{y}-\mathbf{Z}(\mathbf{x}^{\prime})_{i}\},-\kappa). $$ 其中$Z(x)_y$指模型将x识别为真实类别y的概率(so
Axuanz
Updating as per fate.
