整体思路
以上是Faster RCNN的整体网络框架图,首先需要构建一个基础的网络框架类FasterRCNNBase,随后在此基础上构建子类FasterRCNN,在这个类中进行各个模块如RPN/ROI Header的实例化.
FasterRCNNBase
init函数接收backbone/rpn/roi_heads/transform四个变量并初始化参数.
主要看forward函数.首先会对训练数据(bbox的tensor格式)进行检查.然后记录图片原始的大小.
接着进行预处理,丢到骨干网络中得到特征图(如果在多个特征图上预测,得到的特征图将是一个字典)
在特征图上使用RPN网络提取Proposal,并得到RPN网络的损失.
将RPN生成的Proposal,随同特征图与标注target丢入ROI_Header中得到预测结果和预测损失.最后还需要将预测结果进行预处理.
最后当然就是把RPN Loss和Fast RCNN Loss加起来反向传播~(如果是预测模式直接返回detections即可,eager_outpus就是干这事的)
Faster RCNN
FasterRCNN类继承自FastRCNNBase,输入由很多参数,具体参数含义见注释~
__init__函数中首先检查anchor_generator和box_roi_pool是否是正确的类.
对于没有实例化的类,这里将进行实例化.如anchor生成器/RPN_Head/ROI_Head等.
最后还需要实例tranform类,进行图像归一化/翻转等操作
各个模块的初始化参数
AnchorsGenerator
参数1是生成anchor的大小,大小以tuple of tuple的类型传入,tuple第二个参数缺省.(这里是为了适配多尺度预测,不同特征层预测的尺度不一样)
第二个参数是生成anchor的宽高比例,这里乘以anchor数目.主要是为了多尺度预测处理方便.
说白了第一维就是区分有几个特征层参与预测!!!
5种大小,3种比例,那么特征图上每个像素将产生15个anchor.
RPNHead
RPN_Header就是利用3x3conv预测类别和边界框偏移那部分,参数1是backbone输出的维度,第二个是anchor的定位信息.
ReginProposalNetwork
对anchor_generator和rpn_header两部分整合,形成完整的RPN网络.包括之后的NMS过滤等操作.
MultiScaleRoIAlign
featmap_names是多尺度预测时各个预测层的名字，output_size是最后proposal经过roi_pool层后的大小,这里和论文保持一致(7x7)
TwoMLPHead
这部分接在roi_pool后,对其结果做展平处理和连接两个全连接层.
FastRCNNPredictor
两个全连接层预测proposal的类别和边界框偏移.
RoIHeads
将前面几个RoI组件组合起来.包括MultiScaleRoIAlign/TwoMLPHead/FastRCNNPredictor.
