分类 源码阅读 下的文章

整体思路

​ GeneralizedRCNNTransform主要用在图像进入backbone网络前的预处理以及预测结果输出时的后处理两个阶段.主要工作是图像的标准化处理以及resize操作.

函数细节

__init__

​ __init__函数主要输入图像的均值和方差,以及resize时图片的最小(大)边长范围

image-20230322015154826

normalize

​ 最后一行通过添加None这个维度可以增加一维维度,再利用广播机制对image的每个像素都进行操作.

image-20230322015319593

resize

​ 这个方法首先调用_resize_image使用双线性插值调整图片大小,再通过resize_boxes调整对应的box大小.

image-20230322015549491

_resize_image

​ 根据宽高限制来确定缩放比例,调用interpolate对图像进行双线性插值,这里在image又添加一个维度,是因为interpolate方法输入需要是4D图像

image-20230322020119938

resize_boxes

​ 按照缩放比例调整box坐标即可.这里torch.stack()会在tensor最后新增一个维度,这里就是在最后一个维度摞起来

image-20230322020416714

batch_images

​ 这个方法是将一个batch图像中再次resize到统一尺寸,加速训练.这个统一尺寸被调整为size_divisible的整数倍

​ 具体实现时寻找一个batch中图片的高宽最大值,以此作为最大图像.其他图像跟该图像做左上角对齐,空余位置填充零.

​ 这种方法的好处是保证了图像的比例.

image-20230322020955182

forward

​ 对于每张图片,以此调用normalize和resize方法进行标准化和缩放.而在进行batch_images前,需要记录当前图像尺寸,存入image_sizes_list,最后与image打包成一个list,跟target标注一起返回.

​ 之所以要这么做是因为经过batch_images后,图像变成统一尺寸,但是图像有效区域在原先的图片大小范围内,所以需要保存batch_resize前的图像大小.

image-20230322021547272

postprocess

​ 这个方法是预测模式下最后的后处理操作.

image-20230322022153342

整体思路

Faster R-CNN

​ 以上是Faster RCNN的整体网络框架图,首先需要构建一个基础的网络框架类FasterRCNNBase,随后在此基础上构建子类FasterRCNN,在这个类中进行各个模块如RPN/ROI Header的实例化.

FasterRCNNBase

​ init函数接收backbone/rpn/roi_heads/transform四个变量并初始化参数.

image-20230321233450098

​ 主要看forward函数.首先会对训练数据(bbox的tensor格式)进行检查.然后记录图片原始的大小.

image-20230321233759203

​ 接着进行预处理,丢到骨干网络中得到特征图(如果在多个特征图上预测,得到的特征图将是一个字典)

image-20230321233812496

​ 在特征图上使用RPN网络提取Proposal,并得到RPN网络的损失.

image-20230321233900984

​ 将RPN生成的Proposal,随同特征图与标注target丢入ROI_Header中得到预测结果和预测损失.最后还需要将预测结果进行预处理.

image-20230321234607805

​ 最后当然就是把RPN Loss和Fast RCNN Loss加起来反向传播~(如果是预测模式直接返回detections即可,eager_outpus就是干这事的)

image-20230321234725860

Faster RCNN

​ FasterRCNN类继承自FastRCNNBase,输入由很多参数,具体参数含义见注释~

image-20230321235913231

​ __init__函数中首先检查anchor_generator和box_roi_pool是否是正确的类.

image-20230322000203282

​ 对于没有实例化的类,这里将进行实例化.如anchor生成器/RPN_Head/ROI_Head等.

image-20230322000433501

image-20230322000441686

​ 最后还需要实例tranform类,进行图像归一化/翻转等操作

image-20230322000508834

各个模块的初始化参数

AnchorsGenerator

​ 参数1是生成anchor的大小,大小以tuple of tuple的类型传入,tuple第二个参数缺省.(这里是为了适配多尺度预测,不同特征层预测的尺度不一样)

​ 第二个参数是生成anchor的宽高比例,这里乘以anchor数目.主要是为了多尺度预测处理方便.

说白了第一维就是区分有几个特征层参与预测!!!

5种大小,3种比例,那么特征图上每个像素将产生15个anchor.

image-20230322000946702

RPNHead

​ RPN_Header就是利用3x3conv预测类别和边界框偏移那部分,参数1是backbone输出的维度,第二个是anchor的定位信息.

image-20230322001935630

ReginProposalNetwork

​ 对anchor_generator和rpn_header两部分整合,形成完整的RPN网络.包括之后的NMS过滤等操作.

image-20230322002136147

MultiScaleRoIAlign

​ featmap_names是多尺度预测时各个预测层的名字，output_size是最后proposal经过roi_pool层后的大小,这里和论文保持一致(7x7)

image-20230322013909189

TwoMLPHead

​ 这部分接在roi_pool后,对其结果做展平处理和连接两个全连接层.

image-20230322014427091

FastRCNNPredictor

​ 两个全连接层预测proposal的类别和边界框偏移.

image-20230322014531868

RoIHeads

​ 将前面几个RoI组件组合起来.包括MultiScaleRoIAlign/TwoMLPHead/FastRCNNPredictor.

image-20230322014745883

Faster RCNN框架图

image-20230322085023990

图源： deep-learning-for-image-processing/pytorch_object_detection/faster_rcnn at master · WZMIAOMIAO/deep-learning-for-image-processing (github.com)

源码主要内容

​ Faster R-CNN源码阅读将从以下几个方面展开，详见其他文档

  • DataSet
  • 网络框架
  • GeneralizedRCNNTransform
  • RPN
  • Predict Header
  • 正负样本划分与采样
  • Loss函数
  • PostProcess
  • Change Backbone(with FPN)

环境配置

  • Python 3.6/3.7/3.8
  • Pytorch>=1.6.0
  • pycocotools
  • Ubuntu or Centos
  • Use Gpu to train model
  • more details see requirements.txt

文件结构

  ├── backbone: 特征提取网络，可以根据自己的要求选择
  ├── network_files: Faster R-CNN网络（包括Fast R-CNN以及RPN等模块）
  ├── train_utils: 训练验证相关模块（包括cocotools）
  ├── my_dataset.py: 自定义dataset用于读取VOC数据集
  ├── train_mobilenet.py: 以MobileNetV2做为backbone进行训练
  ├── train_resnet50_fpn.py: 以resnet50+FPN做为backbone进行训练
  ├── train_multi_GPU.py: 针对使用多GPU的用户使用
  ├── predict.py: 简易的预测脚本，使用训练好的权重进行预测测试
  ├── validation.py: 利用训练好的权重验证/测试数据的COCO指标，并生成record_mAP.txt文件
  ├── coco.json: coco数据集标签文件
  └── pascal_voc_classes.json: pascal_voc标签文件

预训练权重

注意在源码中修改对应模型的路径与名称

数据集(以PASCAL VOC2012为例)

训练

  • 确保提前准备好数据集
  • 确保提前下载好对应预训练模型权重
  • 若要训练mobilenetv2+fasterrcnn，直接使用train_mobilenet.py训练脚本
  • 若要训练resnet50+fpn+fasterrcnn，直接使用train_resnet50_fpn.py训练脚本
  • 若要使用多GPU训练，使用python -m torch.distributed.launch --nproc_per_node=8 --use_env train_multi_GPU.py指令,nproc_per_node参数为使用GPU数量
  • 如果想指定使用哪些GPU设备可在指令前加上CUDA_VISIBLE_DEVICES=0,3(例如我只要使用设备中的第1块和第4块GPU设备)
  • CUDA_VISIBLE_DEVICES=0,3 python -m torch.distributed.launch --nproc_per_node=2 --use_env train_multi_GPU.py

注意事项

  • 在使用训练脚本时，注意要将--data-path(VOC_root)设置为自己存放VOCdevkit文件夹所在的根目录
  • 由于带有FPN结构的Faster RCNN很吃显存，如果GPU的显存不够(如果batch_size小于8的话)建议在create_model函数中使用默认的norm_layer， 即不传递norm_layer变量，默认去使用FrozenBatchNorm2d(即不会去更新参数的bn层),使用中发现效果也很好。
  • 训练过程中保存的results.txt是每个epoch在验证集上的COCO指标，前12个值是COCO指标，后面两个值是训练平均损失以及学习率
  • 在使用预测脚本时，要将train_weights设置为你自己生成的权重路径。
  • 使用validation文件时，注意确保你的验证集或者测试集中必须包含每个类别的目标，并且使用时只需要修改--num-classes、--data-path和--weights-path即可，其他代码尽量不要改动
  1. 1
  2. 2