NatualGAN

摘要 基于WGAN提出了一个攻击黑盒分类器的自然对抗样本生成框架。这些自然对抗样本可以帮助解释黑盒模型的决策行为和评估的准确性。最后在图像分类、文本蕴含和机器翻译上进行了测试。 网络训练 相比于GAN/WGAN,NaturalGAN多了一个部件逆变器(Inverter$I$).逆变器的作用是将原始样本x映射回低维的稠密向量空间. 这样做的原因在于:GAN生成器的输入是随机的低维高斯噪声z(比如dim=100)，通过生成器G映射到高维空间，这个分布在高维空间是低维流形，也就是所谓的“撑不满”整个高维空间(这个在之前在WGAN中提到过).换句话说生成的对抗样本$x'$的分布其实很大程度上取决于低维噪声的分布.而GAN直接拿随机噪声作为G的输入,而忽略了真实样本x的分布$p_r$,尽管通过设置损失函数(JS散度或EM距离)可以拉近$p_r$和$p_g$,但是缺少了原始样本x的特征信息,会导致最终生成的对抗样本不够自然. 在AdvGAN中,是通过输入样本x或样本x的特征图来解决上述不足 回到NatualGAN,训练共分两个步骤.首先是按照WGAN的策略,训练好生成器G和判别器C.这里G的

深度学习 · 2023-04-12 · 295 人浏览
NatualGAN

AdvGAN++

简介 本篇论文主要是对AdvGAN进行了一些小改进,证明了在非定向攻击中，潜在特征作为对抗生成的先验比整个输入图像更好，同时消除了对生成器遵循基于编码器-解码器的架构的需要，从而减少了训练/推理开销。 论文地址：只有4页的AdvGAN++ 网络框架 跟AdvGAN相比，主要区别在于生成器G的输入产生了变化，从原来的原始图像x变成了图像x的特征图与噪声向量的级联。而图像x的特征图是通过目标网络M的特征提取器f得到的。这两点就是AdvGAN和原始版本的最大区别。 损失函数 与AdvGAN类似，损失函数为 $$ L(G,D)=L_{GAN}+\alpha L_{adv}+\beta L_{pert} $$ 其中 $$ L_{GAN}=E_x[\log D(x)+E_xlog(1-D(G(z|f(x)))]\\ L_{adv}=E_x[M_t(G(z|f(x)))]\\ L_{pert}=E_x||x-G(z|f(x))||_2 $$ $L_{adv}$中的$M_t$是指目标模型M将输入识别成类别t的概率(softmax处理后).其他部分与AdvGAN的损失函数一致,这里不再赘述.AdvGA

深度学习 · 2023-04-10 · 373 人浏览

DCGAN 与 Anime

Reference 论文地址在这[1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (arxiv.org) 参考博客GAN学习指南：从原理入门到制作生成Demo - 知乎 (zhihu.com) 原理篇 DCGAN的原理和GAN是一样的，这里就不在赘述。它只是把G和D换成了两个卷积神经网络(CNN)。DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有： 取消所有pooling层。G网络中使用转置卷积（transposed convolutional layer）进行上采样，D网络中用加入stride的卷积代替pooling。 在D和G中均使用Batch Normalization 去掉FC层，使网络变为全卷积网络 G网络中使用ReLU作为激活函数，最后一层使用tanh D网络中使用LeakyReLU作为激活函数 DCGAN中的G网络示意： 数据篇 作为伪二次元，选择参考这篇立本友人的工作C

深度学习 · 2023-04-06 · 267 人浏览
DCGAN 与 Anime

Generative Adversarial Nets

做了5题蓝桥杯中等题的JJJYmmm身心十分疲倦，决定入门一下生成式对抗网络(GAN).本次看的是开山之作: Ian Goodfellow的Generative Adversarial Nets 摘要 摘要指出本篇工作提出了一个新的框架,通过两个模型相互对抗来提高他们的生成(检测)效果.具体来说:一个是捕获数据分布(这个会在价值函数中体现)的生成模型G,还有一个是判断样本来自真实数据还是G的判别模型D. G的训练目标是使D出错的概率最大化,最后希望达到的效果就是G生成的数据足够"以假乱真",D无法分别其真实性,在这种情况下,生成器G的分布$P_g=P_{data}$(P为概率密度函数),且D的输出恒为1/2. 这里的G/D可以简单都是用MLP,那么模型训练只需要反向更新即可,也不需要使用马尔科夫链或者近似推理网络. GAN属于隐式生成网络,它不需要显示表示真实数据的分布$P_{data}$,这个分布蕴含在G中,我们只关注从这个分布采样出来的样本点即可,即G(z). Introduction 引言基本是摘要的一个补充,主要谈了一下当时深度学习做生成模型效果不太好.之前做生成模型的思想

深度学习 · 2023-04-05 · 312 人浏览
Generative Adversarial Nets
2023 - 2024 Axuanz的学习日记. All Rights Reserved.
Theme Jasmine by Kent Liao