Axuanz 发布的文章 - Axuanz的学习日记

DCGAN 与 Anime

Reference 论文地址在这[1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (arxiv.org) 参考博客GAN学习指南：从原理入门到制作生成Demo - 知乎 (zhihu.com) 原理篇 DCGAN的原理和GAN是一样的，这里就不在赘述。它只是把G和D换成了两个卷积神经网络(CNN)。DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有：取消所有pooling层。G网络中使用转置卷积（transposed convolutional layer）进行上采样，D网络中用加入stride的卷积代替pooling。在D和G中均使用Batch Normalization 去掉FC层，使网络变为全卷积网络 G网络中使用ReLU作为激活函数，最后一层使用tanh D网络中使用LeakyReLU作为激活函数 DCGAN中的G网络示意：数据篇作为伪二次元，选择参考这篇立本友人的工作C

深度学习 · 2023-04-06 · 275 人浏览

DCGAN 与 Anime

Generative Adversarial Nets

做了5题蓝桥杯中等题的JJJYmmm身心十分疲倦，决定入门一下生成式对抗网络(GAN).本次看的是开山之作: Ian Goodfellow的Generative Adversarial Nets 摘要摘要指出本篇工作提出了一个新的框架,通过两个模型相互对抗来提高他们的生成(检测)效果.具体来说:一个是捕获数据分布(这个会在价值函数中体现)的生成模型G,还有一个是判断样本来自真实数据还是G的判别模型D. G的训练目标是使D出错的概率最大化,最后希望达到的效果就是G生成的数据足够"以假乱真",D无法分别其真实性,在这种情况下,生成器G的分布$P_g=P_{data}$(P为概率密度函数),且D的输出恒为1/2. 这里的G/D可以简单都是用MLP,那么模型训练只需要反向更新即可,也不需要使用马尔科夫链或者近似推理网络. GAN属于隐式生成网络,它不需要显示表示真实数据的分布$P_{data}$,这个分布蕴含在G中,我们只关注从这个分布采样出来的样本点即可,即G(z). Introduction 引言基本是摘要的一个补充,主要谈了一下当时深度学习做生成模型效果不太好.之前做生成模型的思想

深度学习 · 2023-04-05 · 321 人浏览

Generative Adversarial Nets

生成模型与极大似然

本节主要是学GAN的时候附带了解一下显式生成模型的基本原理~ 生成模型分为显式和隐式两种,显示就是具体求出(拟合)数据分布$P_{data}$,可以使用极大似然法.假设$P_g$是生成模型产生的数据分布,$\theta$是模型的参数. 首先对所有数据样本计算似然函数$L(\theta)$: $$ L(\theta) = \prod_{i=1}^N{P_g(x^{(i)};\theta)} $$ 似然函数是一个关于模型参数$\theta$的函数，当选择不同的参数$\theta$时，似然函数的值是不同的，它描述了在当前参数下，使用模型分布$P_g(x;\theta)$产生数据集中所有样本的概率。一个朴素的想法是：在最好的模型参数$\theta_{ML}$下，产生数据集中的所有样本的概率是最大的，即 $$ \theta_{ML}=argmaxL(\theta) $$ 但实际在计算机中，多个概率的乘积结果并不方便储存，例如计算过程中可能发生数值下溢的问题，即对比较小的、接近于0的数进行四舍五入后成为0。我们可以对似然函数取对数来缓解该问题，并且仍然求解最好的模型参数使对数似然函数最大,即

深度学习 · 2023-04-05 · 339 人浏览

生成模型与极大似然

源码阅读|Faster RCNN(六)——RPN

RPNHead RPNHead的主要功能是给定图片的各个特征预测层,通过conv3x3滑动窗口,预测每个锚框的前景概率和回归参数 __init__ 通过滑动窗口预测目标概率和bbox regression参数 forward 在多个特征层预测,把3x3conv作为滑动窗口生成预测结果. AnchorsGenerator AnchorsGenerator类的主要功能是给定图片的各个特征层,在每个特征层上都生成特定大小和尺寸的锚框 __init__ 处理anchor的sizes和ratios forward 首先生成anchor模板,再获取每个特征图上的anchor在原图上的坐标信息.随后遍历每张图像,将所有anchor存入anchors中,anchors是list of list,第一个维度是不同图片,第二个维度是不同特征层.最后通过cat操作消除第二个维度,即把一个图片的不同特征图的anchor全部汇总起来.至此AnchorGenerator生成anchor的工作结束. generate_anchors 生成anch

源码阅读 · 2023-04-02 · 306 人浏览

K折交叉验证|K Fold

背景一般来说在训练时会将数据分为两部分，一部分用于训练，另一部分用于验证。这会引起以下几点问题：首先数据的切割是人为/随机的，不同切割可能会导致模型的不同精度。或者说人为切割的验证集有可能偏离了真实分布。其次训练数据被分为两部分，验证集不参与训练，网络的数据来源缩水了，影响训练效果。虽然最后会将所有训练数据都丢入模型中来评估测试集，但是在这之前评估模型或者说模型调参还是只能使用一部分的训练数据基本概念 K是一个指定的数字。执行K折交叉验证时，首先会将数据划分成(大致)相等的K个部分，每部分叫做一个折。每次选取其中一个折作为验证集，由其他K-1个折作为训练集训练模型，训练好的模型用验证集评估正确性。换句话说，K折交叉验证将会产生K个模型，最后得到的精度将是这K个模型精度的均值。交叉验证一般用于评估模型的泛化性能，也可以使用带交叉验证的网格搜索确定超参数。优缺点 K折交叉验证的精度结果反映了模型对数据集中的所有样本都有较好的泛化性通过对数据的多次划分，提供了模型对于训练集选择的敏感性信息。即反映了数据在最好/最坏情况下模型的表现情况。交叉验证使数据使用更高效，K越

机器学习 · 2023-04-01 · 321 人浏览

K折交叉验证|K Fold

Theme Jasmine by Kent Liao