AdvGAN

简介 论文地址 Generating Adversarial Examples with Adversarial Networks|IJCAI 2018 本篇论文基于GAN生成对抗样本。首先提出训练一个产生扰动的前馈网络(G)来生成不同的对抗样本，再通过一个判别网络(D)判别扰动图像的真实性。并在半白盒和黑盒两种场景下进行实验。由于条件GANs能够生成高质量的图像，他们使用了类似的范例(LSGAN)来生成对抗样本。 在以前的白盒攻击中，如FGSM和优化方法，对手需要有攻击的目标模型的架构和所有参数。然而，通过部署AdvGAN，一旦G得到训练，它可以立即为任何输入样本产生扰动，而不再需要访问模型本身。此攻击场景称之为半白盒。 网络主体 问题定义 假设$X \subseteq R^n$为特征空间，n为特征维度。设训练集中的一个样本($x_i,y_i$),其中$x \subseteq X$,并服从分布$\mathbf{x_{i}}\sim\mathbf{P}_{\mathrm{data}}$,且$y_i \in Y$.攻击的目标网络是一个分类器$\mathbf{f}:{\boldsymbol

深度学习 · 2023-04-09 · 573 人浏览
AdvGAN
JJJYmmm
JJJYmmm 2023-04-08

今天开始看GAN生成对抗样本的相关工作，这几天应该会出个AdvGAN(++)

DCGAN 与 Anime

Reference 论文地址在这[1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (arxiv.org) 参考博客GAN学习指南：从原理入门到制作生成Demo - 知乎 (zhihu.com) 原理篇 DCGAN的原理和GAN是一样的，这里就不在赘述。它只是把G和D换成了两个卷积神经网络(CNN)。DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有： 取消所有pooling层。G网络中使用转置卷积（transposed convolutional layer）进行上采样，D网络中用加入stride的卷积代替pooling。 在D和G中均使用Batch Normalization 去掉FC层，使网络变为全卷积网络 G网络中使用ReLU作为激活函数，最后一层使用tanh D网络中使用LeakyReLU作为激活函数 DCGAN中的G网络示意： 数据篇 作为伪二次元，选择参考这篇立本友人的工作C

深度学习 · 2023-04-06 · 431 人浏览
DCGAN 与 Anime

Generative Adversarial Nets

做了5题蓝桥杯中等题的JJJYmmm身心十分疲倦，决定入门一下生成式对抗网络(GAN).本次看的是开山之作: Ian Goodfellow的Generative Adversarial Nets 摘要 摘要指出本篇工作提出了一个新的框架,通过两个模型相互对抗来提高他们的生成(检测)效果.具体来说:一个是捕获数据分布(这个会在价值函数中体现)的生成模型G,还有一个是判断样本来自真实数据还是G的判别模型D. G的训练目标是使D出错的概率最大化,最后希望达到的效果就是G生成的数据足够"以假乱真",D无法分别其真实性,在这种情况下,生成器G的分布$P_g=P_{data}$(P为概率密度函数),且D的输出恒为1/2. 这里的G/D可以简单都是用MLP,那么模型训练只需要反向更新即可,也不需要使用马尔科夫链或者近似推理网络. GAN属于隐式生成网络,它不需要显示表示真实数据的分布$P_{data}$,这个分布蕴含在G中,我们只关注从这个分布采样出来的样本点即可,即G(z). Introduction 引言基本是摘要的一个补充,主要谈了一下当时深度学习做生成模型效果不太好.之前做生成模型的思想

深度学习 · 2023-04-05 · 459 人浏览
Generative Adversarial Nets

生成模型与极大似然

本节主要是学GAN的时候附带了解一下显式生成模型的基本原理~ 生成模型分为显式和隐式两种,显示就是具体求出(拟合)数据分布$P_{data}$,可以使用极大似然法.假设$P_g$是生成模型产生的数据分布,$\theta$是模型的参数. 首先对所有数据样本计算似然函数$L(\theta)$: $$ L(\theta) = \prod_{i=1}^N{P_g(x^{(i)};\theta)} $$ 似然函数是一个关于模型参数$\theta$的函数，当选择不同的参数$\theta$时，似然函数的值是不同的，它描述了在当前参数下，使用模型分布$P_g(x;\theta)$产生数据集中所有样本的概率。一个朴素的想法是：在最好的模型参数$\theta_{ML}$下，产生数据集中的所有样本的概率是最大的，即 $$ \theta_{ML}=argmaxL(\theta) $$ 但实际在计算机中，多个概率的乘积结果并不方便储存，例如计算过程中可能发生数值下溢的问题，即对比较小的、接近于0的数进行四舍五入后成为0。我们可以对似然函数取对数来缓解该问题，并且仍然求解最好的模型参数使对数似然函数最大,即

深度学习 · 2023-04-05 · 481 人浏览
生成模型与极大似然
2023 - 2025 Axuanz的学习日记. All Rights Reserved.
Theme Jasmine by Kent Liao