【Hackathon 8th No.38】在 PaddleDetection 中复现 RT-DETRv3 模型

[flytocc]

• 【Hackathon 8th】开源贡献个人挑战赛 Paddle#71310
• No.38：在 PaddleDetection 中复现 RT-DETRv3 模型
• RFC: 【Hackathon 8th No.38】Add RT-DETRv3 RFC for PaddleDetection community#1094

本次复现基于官方repo：https://github.com/clxia12/RT-DETRv3

鉴于官方repo基于PaddleDetection 2.8.1实现，本次复现尽可能采用官方repo的代码，只做了少量细微改动：

• 将RTDETRv3合并到DETR中，通过配置aux_o2m_head来实现RTDETRv3
• 将DINOv3Head重命名为RTDETRv3Head，将DINOv3Loss重命名为RTDETRv3Loss
• 修正了config文件中的小错误
• 本次复现不包含lvis相关代码、模型及文件

变动

• 修改PadGT，增加参数only_origin_box。当only_origin_box为False时，功能与原先一样，默认为False
• 修改NormalizeBox，增加参数retain_origin_box。当retain_origin_box为False时，功能与原先一样，默认为False
• 修改BatchCompose，增加对origin_gt_bbox和origin_gt_class的支持
• 修改PPYOLOEHead.get_loss，当origin_gt_bbox、origin_gt_class、pad_origin_gt_mask存在时，替代gt_bbox、gt_class、pad_gt_mask
• 修改DETR，增加参数aux_o2m_head。当aux_o2m_head为None时，功能与原先一样，默认为None

[paddle-bot]

Thanks for your contribution!

[CLAassistant]

All committers have signed the CLA.

[flytocc]

@luotao1 @lyuwenyu 麻烦看看有什么补充的吗？RPC是之前其他选手写的，需要重新写一个吗

[luotao1]

RFC 不需要重新写

[Sunting78]

您好，请新增r101的架构，另外请提供训练完成已经复线精度的模型，若有保存训练过程的log，也可以一并提供，便于精度的复现。

[flytocc]

感谢您的解答，以下是对您所题问题的回复：

您好，请新增r101的架构，另外请提供训练完成已经复线精度的模型，若有保存训练过程的log，也可以一并提供，便于精度的复现。

• 官方未提供r101的配置及权重（检查过官方repo的全部commits和issues）
• 官方repo基于2.8.1实现，本次复现的base code和2.8.1只相差几个commits（已检查不会影响本次复现）。本次提交的代码基本来自官方repo，是否有必要进行重新训练

鉴于官方repo基于PaddleDetection 2.8.1实现，本次复现尽可能采用官方repo的代码，只做了少量细微改动：

• 将RTDETRv3合并到DETR中，通过配置aux_o2m_head来实现RTDETRv3
• 将DINOv3Head重命名为RTDETRv3Head，将DINOv3Loss重命名为RTDETRv3Loss
• 修正了config文件中的小错误
• 本次复现不包含lvis相关代码、模型及文件

[Sunting78]

感谢您的解答，以下是对您所题问题的回复：

您好，请新增r101的架构，另外请提供训练完成已经复线精度的模型，若有保存训练过程的log，也可以一并提供，便于精度的复现。

• 官方未提供r101的配置及权重（检查过官方repo的全部commits和issues）
• 官方repo基于2.8.1实现，本次复现的base code和2.8.1只相差几个commits（已检查不会影响本次复现）。本次提交的代码基本来自官方repo，是否有必要进行重新训练

鉴于官方repo基于PaddleDetection 2.8.1实现，本次复现尽可能采用官方repo的代码，只做了少量细微改动：

• 将RTDETRv3合并到DETR中，通过配置aux_o2m_head来实现RTDETRv3
• 将DINOv3Head重命名为RTDETRv3Head，将DINOv3Loss重命名为RTDETRv3Loss
• 修正了config文件中的小错误
• 本次复现不包含lvis相关代码、模型及文件

您好，建议训练完成其中一个配置的模型，且能完全对齐精度。

[flytocc]

您好，建议训练完成其中一个配置的模型，且能完全对齐精度。

训练最小的模型也需要至少8张24G显存的显卡，我这边找不到这样的资源。您这边能帮忙训练吗？或者提供算力支持？

关于精度，理论上官方repo如果能复现论文精度，那本pr也没问题，毕竟就没差几行代码。反之，我也没有办法强行对齐论文精度。

[flytocc]

batch_size和lr减半，aistudio v100 * 4，paddlepaddle-gpu==3.0

python tools/train.py \
  -c configs/rtdetrv3/rtdetrv3_r18vd_6x_coco.yml \
  -o \
  find_unused_parameters=False \
  log_iter=100 \
  TrainReader.batch_size=8 \
  LearningRate.base_lr=0.0002 \
  --fleet \
  --eval

weight&log: https://pan.baidu.com/s/1TDZzKs63Y-fvCT09g_GsIg?pwd=5i6x

@Sunting78 精度47.5，在误差范围内

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.475
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.650
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.515
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.301
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.507
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.634
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.364
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.621
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.694
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.504
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.736
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.863

[Sunting78]

您好，请参考https://github.com/PaddlePaddle/PaddleDetection/blob/develop/configs/rtdetrv2/README.md 在配置目录下添加README文档

[flytocc]

您好，请参考https://github.com/PaddlePaddle/PaddleDetection/blob/develop/configs/rtdetrv2/README.md 在配置目录下添加README文档

已添加README.md