源码阅读|Faster RCNN(六)——RPN

RPNHead RPNHead的主要功能是 给定图片的各个特征预测层,通过conv3x3滑动窗口,预测每个锚框的前景概率和回归参数 __init__ 通过滑动窗口预测目标概率和bbox regression参数 ​ forward ​ 在多个特征层预测,把3x3conv作为滑动窗口生成预测结果. AnchorsGenerator AnchorsGenerator类的主要功能是 给定图片的各个特征层,在每个特征层上都生成特定大小和尺寸的锚框 __init__ ​ 处理anchor的sizes和ratios forward ​ 首先生成anchor模板,再获取每个特征图上的anchor在原图上的坐标信息.随后遍历每张图像,将所有anchor存入anchors中,anchors是list of list,第一个维度是不同图片,第二个维度是不同特征层.最后通过cat操作消除第二个维度,即把一个图片的不同特征图的anchor全部汇总起来.至此AnchorGenerator生成anchor的工作结束. generate_anchors ​ 生成anch

源码阅读 · 2023-04-02 · 296 人浏览

源码阅读|Faster RCNN(五)——ROI Headers

整体思路 ​ RoI-Header共由三部分组成： box_roi_pool:Multi-scale RoIAlign pooling box_head:TwoMLPHead box_predictor:FastRCNNPredictor MultiScaleRoIAlign ​ 该类与之前所述的RoIPooling不同，RoIAlign的定位能力更强。RoIPooling在计算过程中存在取整操作，从而引入了更多的定位误差，而Align不会进行取整操作。具体以后再展开~ TwoMLPHead ​ TwoMLPHead其实就是RoIPooling之后跟着的两个全连接层(还有一个Flatten层). FastRCNNPredictor ​ FastRCNNPredictor也就是两个全连接层，分别预测每个proposal的类别和bbox的回归参数。 注意输入的num_classes应该是实际类型+1,因为第0类是background ROIHeads init ​ 保存一些需要用到的工具. box_similarity负责计算box_iou propo

源码阅读 · 2023-03-30 · 396 人浏览

源码阅读|Faster RCNN(四)——DataSet

整体思路 ​ 创建DataSet首先需要继承torch.utils.data.Dataset这个类，然后再init函数中完成数据的一些预处理，比如xml文件的解析/类与序号的映射/图片路径的存储等。 ​ 接下来需要重载__len__和__getitem__两个方法,分别返回数据长度和某个序号对应的图片(包括图片本身和标注) 如果用到多GPU训练,按照Pytorch官方的建议,最好再实现get_height_and_wight这个方法,节约内存.(因为这样可以避免pytorch将所有图片读入计算宽高) 源码细节 1. xml解析 ​ 在init方法中调用了parse_xml_to_dict方法解析xml文件,获取其中的object信息.(物体的类别/位置/边界框) ​ 而parse_xml_to_dict具体使用递归的方法遍历标签信息,返回字典类型的数据 2.__getitem__方法 ​ 首先通过上述的给出的xml解析方法解析图片对应的xml文件,将结果存入data变量.图片也通过Image.open打开 ​ 接下来将data中的边界框和类别数据进行读

源码阅读 · 2023-03-29 · 330 人浏览
源码阅读|Faster RCNN(四)——DataSet

源码阅读|Faster RCNN(三)——GeneralizedRCNNTransform

整体思路 ​ GeneralizedRCNNTransform主要用在图像进入backbone网络前的预处理以及预测结果输出时的后处理两个阶段.主要工作是图像的标准化处理以及resize操作. 函数细节 __init__ ​ __init__函数主要输入图像的均值和方差,以及resize时图片的最小(大)边长范围 normalize ​ 最后一行通过添加None这个维度可以增加一维维度,再利用广播机制对image的每个像素都进行操作. resize ​ 这个方法首先调用_resize_image使用双线性插值调整图片大小,再通过resize_boxes调整对应的box大小. _resize_image ​ 根据宽高限制来确定缩放比例,调用interpolate对图像进行双线性插值,这里在image又添加一个维度,是因为interpolate方法输入需要是4D图像 resize_boxes ​ 按照缩放比例调整box坐标即可.这里torch.stack()会在tensor最后新增一个维度,这里就是在最后一个维度摞起来 batch_images ​ 这

源码阅读·目标检测 · 2023-03-24 · 325 人浏览

源码阅读|Faster RCNN(一)——顶层视图

Faster RCNN框架图 图源： deep-learning-for-image-processing/pytorch_object_detection/faster_rcnn at master · WZMIAOMIAO/deep-learning-for-image-processing (github.com) 源码主要内容 ​ Faster R-CNN源码阅读将从以下几个方面展开，详见其他文档 DataSet 网络框架 GeneralizedRCNNTransform RPN Predict Header 正负样本划分与采样 Loss函数 PostProcess Change Backbone(with FPN) 环境配置 Python 3.6/3.7/3.8 Pytorch>=1.6.0 pycocotools Ubuntu or Centos Use Gpu to train model more details see requirements.txt 文件结构 ├── backbone: 特征提取网络，

源码阅读 · 2023-03-24 · 396 人浏览
源码阅读|Faster RCNN(一)——顶层视图
2023 - 2024 Axuanz的学习日记. All Rights Reserved.
Theme Jasmine by Kent Liao