JJJYmmm Blog - 无框假设
type: channel
link: http://jjjymmm.cn/index.php/tag/%E6%97%A0%E6%A1%86%E5%81%87%E8%AE%BE/
items: Practical no-box adversarial attacks against DNNs

Practical no-box adversarial attacks against DNNs
type: item
date: 2023-04-19T10:05:00+00:00
description: 论文地址：https://dl.acm.org/doi/abs/10.5555/3495724.3496802摘要与引言目前针对深度神经网络对抗脆弱性的研究进展迅速(如对抗样本、鲁棒性检验等)。现有的攻击需要内部访问（如受害者模型架构，参数或训练集）或外部访问（查询受害者模型）。然而在许多场景中，这两种访问都可能是不可行的或成本昂贵的。本文研究了无框对抗的例子，其中攻击者既不能访问模型信息或训练集，也不能查询模型。相反，攻击者只能从与受害者模型相同的问题域中收集少量示例。这种更强大的威胁模型大大扩展了对抗性攻击的适用性。实验表明，在prototypical auto-encoding models上制作的对抗样本可以很好地转移到各种图像分类和人脸验证模型中。在www.example.com拥有的商业名人识别系统上clarifai.com，此方法将系统的平均预测准确率显著降低到仅15.40%，这与从预训练的Arcface模型中转移对抗样本的攻击相当。No-box攻击相比于现在基于查询或转移的黑盒攻击来说，攻击条件更为严格:攻击者既不能访问大规模的训练数据，也无法查询模型，只能通过从同一问题域中收集少量的辅助样本。文章的亮点在于基于无框攻击的假设，提出了在少样本(few-shot)情况下训练"替代"模型的方法。具体来说有三种训练机制：1）估计每张旋转图像的正视图；2）估计每个拼图的正确组合；3）原型图像重建。这三种策略中，前两种属于自监督学习(Self-Supervised Learning)，第三种属于监督学习。结果是第三种基于图像重建的训练方式效果最好。替代模型采用的是编码器-解码器架构的image-to-image auto-encoding models；模型预测时，首先将样本重建，通过判断重建后的样本与样本库之间的相似性确定其类别。制作对抗样本则采用在"替代"模型上应用I-FGSM方法(源码中还使用了PGD)。最后在编码器输出上还使用了ILA。ILA aims to enlarge intermediate-level perturbations in the direction of guiding examples,by maximizing projections on their mid-layer representations训练策略目标：假设良性样本$x_0$被扰动，使得被错误分类到其他标签中。我们的目标是在一个小型的数据集$\textstyle{\mathcal{X}}:=\{(x_{i},y_{i})\}_{i=0}^{n-1}$上训练一个判别(替代)模型，包括扰动的实例$x_0$。我们首先考虑仅涉及两个类的数据集，即，$y_i ∈ \{0,1\}$。在本文中，如果没有其他说明，限制n ≤ 20,从而满足few-shot的条件。对于传统监督学习来说，比如交叉熵损失+Softmax的分类DNN，少样本训练很容易带来过拟合的问题。模型的train loss会很快下降收敛，但是valid loss下降到一定程度就进入平台期(极端一点来说，就是模型记住了每张训练集图像，并没有从训练集中学到有用的特征拿来分类)。虽然可以通过数据增广、权重衰退、BN层等正则化手段弥补少样本的不足，但是在无框假设下这些手段还是不能很好地训练替代模型。(毕竟才20张图片，实在是太少了)下图是传统监督学习(以VGG/Resnet为例)在小型数据集的表现，第二行加入了各种正则化手段，基本没什么效果。(最近打比赛深刻认识到数据质量/数量的重要性在传统监督学习效果有限的情况下，作者采用了image to image方法，它在建模数据的内部分布比较成功，可能适合无框攻击的假设。在这种情况下，作者提出了他的受害者替代模型：编码器-解码器架构的image-to-image auto-encoding models。并在此基础上提出了三种训练策略(传统的交叉熵损失在这里不适用)。Reconstruction from chaos前两种方法属于自监督学习。一个是预测图像旋转角度，另一个是拼图重建，这两种方法已经证明可以提高DNN的辨别能力。这两个人物的学习目标可以表述为：$$ {\cal L}_{\mathrm{rotation/jigsaw}}={\frac{1}{n}}\sum_{i=0}^{n-1}\left|\right|\mathrm{Dec}(\mathrm{Enc}(T(x_{i})))-x_{i}|^{2} $$其中$T(.)$指旋转操作或裁剪拼接操作。虽然学习任务仍然是无监督的，但pretext information(前置任务的语义信息)是与内容相关的，应该有利于分类。Prototypical image reconstructio…