分类 深度学习 下的文章

整体思路

​ GeneralizedRCNNTransform主要用在图像进入backbone网络前的预处理以及预测结果输出时的后处理两个阶段.主要工作是图像的标准化处理以及resize操作.

函数细节

__init__

​ __init__函数主要输入图像的均值和方差,以及resize时图片的最小(大)边长范围

image-20230322015154826

normalize

​ 最后一行通过添加None这个维度可以增加一维维度,再利用广播机制对image的每个像素都进行操作.

image-20230322015319593

resize

​ 这个方法首先调用_resize_image使用双线性插值调整图片大小,再通过resize_boxes调整对应的box大小.

image-20230322015549491

_resize_image

​ 根据宽高限制来确定缩放比例,调用interpolate对图像进行双线性插值,这里在image又添加一个维度,是因为interpolate方法输入需要是4D图像

image-20230322020119938

resize_boxes

​ 按照缩放比例调整box坐标即可.这里torch.stack()会在tensor最后新增一个维度,这里就是在最后一个维度摞起来

image-20230322020416714

batch_images

​ 这个方法是将一个batch图像中再次resize到统一尺寸,加速训练.这个统一尺寸被调整为size_divisible的整数倍

​ 具体实现时寻找一个batch中图片的高宽最大值,以此作为最大图像.其他图像跟该图像做左上角对齐,空余位置填充零.

​ 这种方法的好处是保证了图像的比例.

image-20230322020955182

forward

​ 对于每张图片,以此调用normalize和resize方法进行标准化和缩放.而在进行batch_images前,需要记录当前图像尺寸,存入image_sizes_list,最后与image打包成一个list,跟target标注一起返回.

​ 之所以要这么做是因为经过batch_images后,图像变成统一尺寸,但是图像有效区域在原先的图片大小范围内,所以需要保存batch_resize前的图像大小.

image-20230322021547272

postprocess

​ 这个方法是预测模式下最后的后处理操作.

image-20230322022153342

整体思路

Faster R-CNN

​ 以上是Faster RCNN的整体网络框架图,首先需要构建一个基础的网络框架类FasterRCNNBase,随后在此基础上构建子类FasterRCNN,在这个类中进行各个模块如RPN/ROI Header的实例化.

FasterRCNNBase

​ init函数接收backbone/rpn/roi_heads/transform四个变量并初始化参数.

image-20230321233450098

​ 主要看forward函数.首先会对训练数据(bbox的tensor格式)进行检查.然后记录图片原始的大小.

image-20230321233759203

​ 接着进行预处理,丢到骨干网络中得到特征图(如果在多个特征图上预测,得到的特征图将是一个字典)

image-20230321233812496

​ 在特征图上使用RPN网络提取Proposal,并得到RPN网络的损失.

image-20230321233900984

​ 将RPN生成的Proposal,随同特征图与标注target丢入ROI_Header中得到预测结果和预测损失.最后还需要将预测结果进行预处理.

image-20230321234607805

​ 最后当然就是把RPN Loss和Fast RCNN Loss加起来反向传播~(如果是预测模式直接返回detections即可,eager_outpus就是干这事的)

image-20230321234725860

Faster RCNN

​ FasterRCNN类继承自FastRCNNBase,输入由很多参数,具体参数含义见注释~

image-20230321235913231

​ __init__函数中首先检查anchor_generator和box_roi_pool是否是正确的类.

image-20230322000203282

​ 对于没有实例化的类,这里将进行实例化.如anchor生成器/RPN_Head/ROI_Head等.

image-20230322000433501

image-20230322000441686

​ 最后还需要实例tranform类,进行图像归一化/翻转等操作

image-20230322000508834

各个模块的初始化参数

AnchorsGenerator

​ 参数1是生成anchor的大小,大小以tuple of tuple的类型传入,tuple第二个参数缺省.(这里是为了适配多尺度预测,不同特征层预测的尺度不一样)

​ 第二个参数是生成anchor的宽高比例,这里乘以anchor数目.主要是为了多尺度预测处理方便.

说白了第一维就是区分有几个特征层参与预测!!!

5种大小,3种比例,那么特征图上每个像素将产生15个anchor.

image-20230322000946702

RPNHead

​ RPN_Header就是利用3x3conv预测类别和边界框偏移那部分,参数1是backbone输出的维度,第二个是anchor的定位信息.

image-20230322001935630

ReginProposalNetwork

​ 对anchor_generator和rpn_header两部分整合,形成完整的RPN网络.包括之后的NMS过滤等操作.

image-20230322002136147

MultiScaleRoIAlign

​ featmap_names是多尺度预测时各个预测层的名字，output_size是最后proposal经过roi_pool层后的大小,这里和论文保持一致(7x7)

image-20230322013909189

TwoMLPHead

​ 这部分接在roi_pool后,对其结果做展平处理和连接两个全连接层.

image-20230322014427091

FastRCNNPredictor

​ 两个全连接层预测proposal的类别和边界框偏移.

image-20230322014531868

RoIHeads

​ 将前面几个RoI组件组合起来.包括MultiScaleRoIAlign/TwoMLPHead/FastRCNNPredictor.

image-20230322014745883

Faster RCNN框架图

image-20230322085023990

图源： deep-learning-for-image-processing/pytorch_object_detection/faster_rcnn at master · WZMIAOMIAO/deep-learning-for-image-processing (github.com)

源码主要内容

​ Faster R-CNN源码阅读将从以下几个方面展开，详见其他文档

  • DataSet
  • 网络框架
  • GeneralizedRCNNTransform
  • RPN
  • Predict Header
  • 正负样本划分与采样
  • Loss函数
  • PostProcess
  • Change Backbone(with FPN)

环境配置

  • Python 3.6/3.7/3.8
  • Pytorch>=1.6.0
  • pycocotools
  • Ubuntu or Centos
  • Use Gpu to train model
  • more details see requirements.txt

文件结构

  ├── backbone: 特征提取网络，可以根据自己的要求选择
  ├── network_files: Faster R-CNN网络（包括Fast R-CNN以及RPN等模块）
  ├── train_utils: 训练验证相关模块（包括cocotools）
  ├── my_dataset.py: 自定义dataset用于读取VOC数据集
  ├── train_mobilenet.py: 以MobileNetV2做为backbone进行训练
  ├── train_resnet50_fpn.py: 以resnet50+FPN做为backbone进行训练
  ├── train_multi_GPU.py: 针对使用多GPU的用户使用
  ├── predict.py: 简易的预测脚本，使用训练好的权重进行预测测试
  ├── validation.py: 利用训练好的权重验证/测试数据的COCO指标，并生成record_mAP.txt文件
  ├── coco.json: coco数据集标签文件
  └── pascal_voc_classes.json: pascal_voc标签文件

预训练权重

注意在源码中修改对应模型的路径与名称

数据集(以PASCAL VOC2012为例)

训练

  • 确保提前准备好数据集
  • 确保提前下载好对应预训练模型权重
  • 若要训练mobilenetv2+fasterrcnn，直接使用train_mobilenet.py训练脚本
  • 若要训练resnet50+fpn+fasterrcnn，直接使用train_resnet50_fpn.py训练脚本
  • 若要使用多GPU训练，使用python -m torch.distributed.launch --nproc_per_node=8 --use_env train_multi_GPU.py指令,nproc_per_node参数为使用GPU数量
  • 如果想指定使用哪些GPU设备可在指令前加上CUDA_VISIBLE_DEVICES=0,3(例如我只要使用设备中的第1块和第4块GPU设备)
  • CUDA_VISIBLE_DEVICES=0,3 python -m torch.distributed.launch --nproc_per_node=2 --use_env train_multi_GPU.py

注意事项

  • 在使用训练脚本时，注意要将--data-path(VOC_root)设置为自己存放VOCdevkit文件夹所在的根目录
  • 由于带有FPN结构的Faster RCNN很吃显存，如果GPU的显存不够(如果batch_size小于8的话)建议在create_model函数中使用默认的norm_layer， 即不传递norm_layer变量，默认去使用FrozenBatchNorm2d(即不会去更新参数的bn层),使用中发现效果也很好。
  • 训练过程中保存的results.txt是每个epoch在验证集上的COCO指标，前12个值是COCO指标，后面两个值是训练平均损失以及学习率
  • 在使用预测脚本时，要将train_weights设置为你自己生成的权重路径。
  • 使用validation文件时，注意确保你的验证集或者测试集中必须包含每个类别的目标，并且使用时只需要修改--num-classes、--data-path和--weights-path即可，其他代码尽量不要改动

摘要

​ Faster RCNN在Fast RCNN的基础上增加了RPN网络来代替比较耗时的Selective Search。RPN网络和检测网络共享同一张卷积特征图，他同时预测每个位置的前景（背景）概率和每一类相对于锚框的偏移，得到的预测框将送入Fast RCNN的检测头进行进一步的分类和BBOX回归。

​ 对于非常深的VGG-16模型，Faster RCNN在GPU上的帧速率为5fps（包括所有步骤），同时在PASCAL VOC 2007、2012和MS COCO数据集上实现了最先进的对象检测精度，每张图像只有300个建议框。在ILSVRC和COCO 2015竞赛中，Faster R-CNN和RPN是多个赛道第一名获奖作品的基础。

算法流程

image-20230308091659327

image-20230308091742426

RPN网络结构

正向传播

image-20230308091838188

对于特征图上的每个3x3的滑动窗口(实际实现就是用conv3x3 p1 s1)，首先计算窗口中心点在原图上的位置，并计算出k个anchor box

​ 对于anchor的选择，共有三种比例，三种尺度，即每个位置都有9个anchor

image-20230308092338534

感受野

​ 对于特征图上的感受野，骨干网络为ZFNet时，感受野为171；骨干网络为VGG16时，感受野为228(具体计算如下)

image-20230308092633528

有个问题是，无论是VGG/ZF骨干网络，一个位置的感受野最多也就是228x228，那为什么anchor box的尺寸可以设置到256x256甚至512x512？ 在论文中解释是说，通过物体的局部来预测物体是有可能的，实际上这么设置表现也确实有所提升（

image-20230308092958530

anchor->proposal

image-20230308093042856

正负样本选择

​ 训练时，每个mini-batch，即每张图片随机选择256个anchor，这些anchor中正负样本比例大约是1:1。如果正样本数目不足128，那就用负样本补足到256.

image-20230308093402534

​ 正负样本定义如下：

​ 正样本：①和某个GT Box的IoU大于0.7

​ ②是和某个GT Box的IoU最大的anchor(就是对第一条规则的补充，避免出现某个GT Box没有分配anchor)

​ 负样本：和所有的GT Box的IoU都小于0.3

RPN 损失

​ RPN网络的损失分为两部分，分类损失和边界框损失。分类主要是衡量预测框中是否含有物体(类似于YOLO系列中的objectness)，边界框损失就是简单的回归损失。

image-20230308093901988

image-20230308093935964

​ 分类损失有两种实现：

​ 如果每个anchor只有一个预测值，那么就使用BCE二元交叉熵损失；

image-20230308094354826

​ 如果每个anchor有两个预测值，那么就使用Softmax Cross Entropy。

image-20230308094431386

​ 边界框回归损失和Fast RCNN一样，都是用SmoothL1 Loss.标注值t*的计算参考RCNN中的实现。

image-20230308094537614

Detect Loss

​ 检测网络的损失和Faster-RCNN网络的损失一摸一样。这里不再赘述。

image-20230307213352907

网络训练

image-20230308094828414

现在可以直接采用RPN loss+Fast R-CNN Loss联合训练网络

image-20230308095010636

自己的一点理解

​ 从损失函数来看，Faster R-CNN和YOLO挺像的(应该是YOLO借鉴的ROI思想)。

​ 在YOLO系列中，对于每个grid cell会预测k个anchor(since v2)，对于每个anchor会预测一个置信度(objectness)，边界框偏移和类别预测。这里的类别预测同v1一样，是条件概率，即在置信度基础上的概率。

​ 而在Faster R-CNN中，置信度和类别预测被拆开成了两个网络，RPN网络负责预测置信度和边界框偏移；Fast R-CNN网络负责预测类别和边界框偏移。

​ RPN网络提供Proposal，其实就是在置信度的基础上筛选出一些质量高的锚框(当然还需要根据边界偏移调整获得最后的region proposal)。

​ Fast R-CNN接到Proposal后，根据它在特征图上的映射获得特征矩阵，再通过RoI pooling层获得获得固定大小的矩阵，送入全连接层预测类别和bbox回归。那么这里的类别同样可以理解成条件概率，因为得到的候选框是经过RPN网络筛选过的，即在置信度满足一定条件时预测出的概率。

​ 所以YOLO系列其实就是将RPN网络和Fast R-CNN网络进行了合并。至于锚框生成，区别于RPN网络在特征图上通过滑动窗口生成，YOLO更加简单粗暴，直接将原图分割并在每个单元上生成锚框。

相较于RCNN的改进

  • Fast RCNN仍然使用selective search选取2000个建议框，但是这里不是将这么多建议框都输入卷积网络中，而是将原始图片输入卷积网络中得到特征图，再使用建议框对特征图提取特征框。这样做的好处是，原来建议框重合部分非常多，卷积重复计算严重，而这里每个位置都只计算了一次卷积，大大减少了计算量
  • 由于建议框大小不一，得到的特征框需要转化为相同大小，这一步是通过ROI池化层（region of interest）来实现的
  • Fast RCNN里没有SVM分类器和回归器了，分类和预测框的位置大小都是通过卷积神经网络输出的
  • 为了提高计算速度，网络最后使用SVD代替全连接层

算法流程

  • 输入一张图片，使用Selective Search获取建议框(region proposal)
  • 将原始图片输入卷积神经网络之中，获取特征图
  • 对每个建议框，从特征图中找到对应位置（按照比例映射），截取出特征框（深度保持不变）
  • 将每个特征框划分为 HxW个网格（论文中是 7×7 ），在每个网格内进行最大池化（即每个网格内取最大值），这就是ROI池化。这样每个特征框就被转化为了 7×7×C 的矩阵
  • 对每个矩阵展平为一个向量，分别作为之后的全连接层的输入
  • 全连接层的输出有两个，计算class得分和bounding box回归。前者是sotfmax的21类分类器（假设有20个类别+背景类），输出属于每一类的概率（所有建议框的输出构成得分矩阵）；后者是输出一个 20×4 的矩阵，4表示(x, y, w, h)，20表示20个类，这里是对20个类分别计算了框的位置和大小
  • 对输出的得分矩阵使用非极大抑制方法选出少数框，对每一个框选择概率最大的类作为标注的类，根据网络结构的第二个输出，选择对应类下的位置和大小对图像进行标注

image-20230307213534355

网络结构

​ 网络backbone采用VGG-16，不用resnet是因为那个时候还没有resnet

​ 最开始仍然是在ImageNet数据集上训练一个1000类的分类网络，随后将模型进行以下改动

  • 最后一个最大池化层换成ROI池化层
  • 将最后一个全连接层和后面的softmax1000分类器换成两个并行层，一个是全连接层1+21分类器，另一个是全连接层2+表示每个类预测框位置的输出

​ 使用变动后的模型，在标注过的图像数据上fine-tuning，训练时要输入图像、标注（这里将人为标注的框称为ground truth）和建议框信息。这里为了提高训练速度，采取了小批量梯度下降的方式，每次使用2张图片的128张建议框（每张图片取64个建议框）更新参数。

训练网络

每次更新参数的训练步骤如下

  • 2张图像直接经过前面的卷积层获得特征图
  • 根据ground truth标注所有建议框的类别。具体步骤为，对每一个类别的ground truth，与它的iou大于0.5的建议框标记为groud truth的类别（正样本），对于与ground truth的iou介于0.1到0.5之间的建议框，标注为背景类别(负样本)
  • 每张图片随机选取64个建议框（要控制背景类的建议框占75%），提取出特征框
  • 特征框继续向下计算，进入两个并行层计算损失函数
  • 反向传播更新参数（关于ROI池化的反向传播细节可以参考这篇博客）

image-20230307213611296

损失函数

​ 跟YOLO系列类似(其实应该是YOLO与rcnn类似)，损失函数分成两部分——分类损失和回归损失。

  • 对类别输出按照softmax正常计算损失(交叉熵损失)
  • 对框的位置的损失方面，标注为背景类的建议框(负样本)不增加损失（体现在下面公式中的 [u>1] 艾弗森括号）。对于标注为物体类别的建议框(正样本)来说，先计算ground truth的四个标注参数，再和网络的预测值来计算loss(采用smoothL1 loss)

image-20230307213352907

论文中的其他

  • 在全连接层使用SVD分解来减少计算时间
  • 模型在各种数据集上的测试效果及对比
  • 在fine-tuning基础上更新哪些层的参数实验
  • SVM V.S. softmax，输入多种规格的图片，更多训练数据等等

image-20230307213740234

  1. 1
  2. ...
  3. 5
  4. 6
  5. 7
  6. 8
  7. 9
  8. 10