JJJYmmm Blog
摘要 基于WGAN提出了一个攻击黑盒分类器的自然对抗样本生成框架。这些自然对抗样本可以帮助解释黑盒模型的决策行为和评估的准确性。最后在图像分类、文本蕴含和机器翻译上进行了测试。 网络训练 相比于GAN/WGAN,NaturalGAN多了一个部件逆变器(Inverter$I$).逆变器的作用是将原始样本x映射回低维的稠密向量空间. 这样做的原因在于:GAN生成器的输入是随机的低维高斯噪声z(比如dim=100)，通过生成器G映射到高维空间，这个分布在高维空间是低维流形，也就是所谓的“撑不满”整个高维空间(这个在之前在WGAN中提到过).换句话说生成的对抗样本$x'$的分布其实很大程度上取决于低维噪声的分布.而GAN直接拿随机噪声作为G的输入,而忽略了真实样本x的分布$p_r$,尽管通过设置损失函数(JS散度或EM距离)可以拉近$p_r$和$p_g$,但是缺少了原始样本x的特征信息,会导致最终生成的对抗样本不够自然. 在AdvGAN中,是通过输入样本x或样本x的特征图来解决上述不足 回到NatualGAN,训练共分两个步骤.首先是按照WGAN的策略,训练好生成器G和判别器C.这里G的
相对于原始GAN的改进点： 解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 基本解决了模式坍塌(collapse mode)的问题，确保了生成样本的多样性 训练过程中可以使用WGAN判别器loss函数的值来判断训练效果(近似Wasserstein距离的相反数)，这个数值越小代表GAN训练得越好，代表生成器产生的图像质量越高 只需要将原始GAN的算法流程改进四点就可以实现以上效果 原始GAN的缺点 对于原始GAN中生成器G的第一种损失函数,由Theory 1./2. 证明其不足. $$ Loss_{G1} = \mathbb{E}_{x\sim p_{g}[log(1-D(x))]} $$ 对于原始GAN中G的第二种损失函数,由Theory 3. 证明其不足. $$ Loss_{G2}=\mathbb{E}_{x\sim p_{g}[-log(D(x))]} $$ Theory 1.两个不重叠分布的JS散度=log2 首先回顾一下GAN的价值函数V(G,D),因为第一项和G无关,所以最小化V(G,D)等效于最小化我们刚刚提到的$Loss_{G1}$. $$ \m
简介 本篇论文主要是对AdvGAN进行了一些小改进,证明了在非定向攻击中，潜在特征作为对抗生成的先验比整个输入图像更好，同时消除了对生成器遵循基于编码器-解码器的架构的需要，从而减少了训练/推理开销。 论文地址：只有4页的AdvGAN++ 网络框架 跟AdvGAN相比，主要区别在于生成器G的输入产生了变化，从原来的原始图像x变成了图像x的特征图与噪声向量的级联。而图像x的特征图是通过目标网络M的特征提取器f得到的。这两点就是AdvGAN和原始版本的最大区别。 损失函数 与AdvGAN类似，损失函数为 $$ L(G,D)=L_{GAN}+\alpha L_{adv}+\beta L_{pert} $$ 其中 $$ L_{GAN}=E_x[\log D(x)+E_xlog(1-D(G(z|f(x)))]\\ L_{adv}=E_x[M_t(G(z|f(x)))]\\ L_{pert}=E_x||x-G(z|f(x))||_2 $$ $L_{adv}$中的$M_t$是指目标模型M将输入识别成类别t的概率(softmax处理后).其他部分与AdvGAN的损失函数一致,这里不再赘述.AdvGA
简介 论文地址 Generating Adversarial Examples with Adversarial Networks|IJCAI 2018 本篇论文基于GAN生成对抗样本。首先提出训练一个产生扰动的前馈网络(G)来生成不同的对抗样本，再通过一个判别网络(D)判别扰动图像的真实性。并在半白盒和黑盒两种场景下进行实验。由于条件GANs能够生成高质量的图像，他们使用了类似的范例(LSGAN)来生成对抗样本。 在以前的白盒攻击中，如FGSM和优化方法，对手需要有攻击的目标模型的架构和所有参数。然而，通过部署AdvGAN，一旦G得到训练，它可以立即为任何输入样本产生扰动，而不再需要访问模型本身。此攻击场景称之为半白盒。 网络主体 问题定义 假设$X \subseteq R^n$为特征空间，n为特征维度。设训练集中的一个样本($x_i,y_i$),其中$x \subseteq X$,并服从分布$\mathbf{x_{i}}\sim\mathbf{P}_{\mathrm{data}}$,且$y_i \in Y$.攻击的目标网络是一个分类器$\mathbf{f}:{\boldsymbol
今天开始看GAN生成对抗样本的相关工作，这几天应该会出个AdvGAN(++)
Axuanz
Updating as per fate.
