PaddlePaddle/PaddleDetection: Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.

2 Commits

1 Branches

0 Releases

Android advanced developer 14ddae6d73 Update 'README.md'		2 years ago
.gitignore	ddaccd5803 Initial commit	2 years ago
LICENSE	ddaccd5803 Initial commit	2 years ago
README.md	14ddae6d73 Update 'README.md'	2 years ago

简体中文 | English

**飞桨目标检测开发套件，端到端地完成从训练到部署的全流程目标检测应用。**

🔥 热门活动

🎊YOLO Vision世界学术交流大会🎊

PaddleDetection受邀参与首个以YOLO为主题的YOLO Vision世界大会，与全球AI领先开发者学习交流，欢迎大家报名参加！

⏰时间：9月27日
👨‍🏫演讲主题：PaddleDetection Toolkit and PP-YOLO Series
💎圆桌论坛：Open Source Projects Enabling the Future of Computer Vision AI

⛓报名链接：https://ultralytics.com/yolo-vision

🔮彩蛋：8月26日 PaddleDetection发布YOLO系列全家族，包括YOLOv5/X/v6/v7与自研的PP-YOLOE、PP-YOLOE+
🗳项目链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/docs/feature_models/YOLOSERIES_MODEL.md

产品动态

🔥 2022.8.26：PaddleDetection发布release/2.5版本
- 🗳 特色模型：
- 发布PP-YOLOE+，最高精度提升2.4% mAP，达到54.9% mAP，模型训练收敛速度提升3.75倍，端到端预测速度最高提升2.3倍；多个下游任务泛化性提升
- 发布PicoDet-NPU模型，支持模型全量化部署；新增PicoDet版面分析模型
- 发布PP-TinyPose升级版增强版，在健身、舞蹈等场景精度提升9.1% AP，支持侧身、卧躺、跳跃、高抬腿等非常规动作
- 🔮 场景能力：
- 发布行人分析工具PP-Human v2，新增打架、打电话、抽烟、闯入四大行为识别，底层算法性能升级，覆盖行人检测、跟踪、属性三类核心算法能力，提供保姆级全流程开发及模型优化策略，支持在线视频流输入
- 首次发布PP-Vehicle，提供车牌识别、车辆属性分析（颜色、车型）、车流量统计以及违章检测四大功能，兼容图片、在线视频流、视频输入，提供完善的二次开发文档教程
- 💡 前沿算法：
- 全面覆盖的YOLO家族经典与最新模型代码库PaddleYOLO: 包括YOLOv3，百度飞桨自研的实时高精度目标检测模型PP-YOLOE，以及前沿检测算法YOLOv4、YOLOv5、YOLOX，YOLOv6及YOLOv7
- 新增基于ViT骨干网络高精度检测模型，COCO数据集精度达到55.7% mAP；新增OC-SORT多目标跟踪模型；新增ConvNeXt骨干网络
- 📋 产业范例：新增智能健身、打架识别、来客分析、车辆结构化范例
2022.3.24：PaddleDetection发布release/2.4版本
- 发布高精度云边一体SOTA目标检测模型PP-YOLOE，提供s/m/l/x版本，l版本COCO test2017数据集精度51.6%，V100预测速度78.1 FPS，支持混合精度训练，训练较PP-YOLOv2加速33%，全系列多尺度模型，满足不同硬件算力需求，可适配服务器、边缘端GPU及其他服务器端AI加速卡。
- 发布边缘端和CPU端超轻量SOTA目标检测模型PP-PicoDet增强版，精度提升2%左右，CPU预测速度提升63%，新增参数量0.7M的PicoDet-XS模型，提供模型稀疏化和量化功能，便于模型加速，各类硬件无需单独开发后处理模块，降低部署门槛。
- 发布实时行人分析工具PP-Human，支持行人跟踪、人流量统计、人体属性识别与摔倒检测四大能力，基于真实场景数据特殊优化，精准识别各类摔倒姿势，适应不同环境背景、光线及摄像角度。
- 新增YOLOX目标检测模型，支持nano/tiny/s/m/l/x版本，x版本COCO val2017数据集精度51.8%。
更多版本发布

简介

PaddleDetection为基于飞桨PaddlePaddle的端到端目标检测套件，内置30+模型算法及300+预训练模型，覆盖目标检测、实例分割、跟踪、关键点检测等方向，其中包括服务器端和移动端高精度、轻量级产业级SOTA模型、冠军方案和学术前沿算法，并提供配置化的网络模块组件、十余种数据增强策略和损失函数等高阶优化支持和多种部署方案，在打通数据处理、模型开发、训练、压缩、部署全流程的基础上，提供丰富的案例及教程，加速算法产业落地应用。

特性

模型丰富: 包含目标检测、实例分割、人脸检测、*关键点检测*、多目标跟踪等250+个预训练模型，涵盖多种全球竞赛冠军方案。
使用简洁：模块化设计，解耦各个网络组件，开发者轻松搭建、试用各种检测模型及优化策略，快速得到高性能、定制化的算法。
端到端打通: 从数据增强、组网、训练、压缩、部署端到端打通，并完备支持云端/边缘端多架构、多设备部署。
高性能: 基于飞桨的高性能内核，模型训练速度及显存占用优势明显。支持FP16训练, 支持多机训练。

技术交流

如果你发现任何PaddleDetection存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。
欢迎加入PaddleDetection 微信用户群（扫码填写问卷即可入群）
- 入群福利 💎：获取PaddleDetection团队整理的重磅学习大礼包🎁
- 📊 福利一：获取飞桨联合业界企业整理的开源数据集
- 👨‍🏫 福利二：获取PaddleDetection历次发版直播视频与最新直播咨询
- 🗳 福利三：获取垂类场景预训练模型集合，包括工业、安防、交通等5+行业场景
- 🗂 福利四：获取10+全流程产业实操范例，覆盖火灾烟雾检测、人流量计数等产业高频场景

套件结构概览

KeyPoint

DarkPose

FPN

BiFPN
CSP-PAN
Custom-PAN
ES-PAN
HRFPN

Loss

Smooth-L1
GIoU/DIoU/CIoU
IoUAware
Focal Loss
CT Focal Loss
VariFocal Loss

Architectures	Backbones	Components	Data Augmentation
Object Detection Faster RCNN FPN Cascade-RCNN PSS-Det RetinaNet YOLOv3 YOLOv5 YOLOv6 YOLOv7 PP-YOLOv1/v2 PP-YOLO-Tiny PP-YOLOE PP-YOLOE+ YOLOX SSD CenterNet FCOS TTFNet TOOD GFL PP-PicoDet DETR Deformable DETR Swin Transformer Sparse RCNN Instance Segmentation Mask RCNN Cascade Mask RCNN SOLOv2 Face Detection BlazeFace Multi-Object-Tracking JDE FairMOT DeepSORT ByteTrack OC-SORT KeyPoint-Detection HRNet HigherHRNet Lite-HRNet PP-TinyPose	Details ResNet(&vd) Res2Net(&vd) CSPResNet SENet Res2Net HRNet Lite-HRNet DarkNet CSPDarkNet MobileNetv1/v3 ShuffleNet GhostNet BlazeNet DLA HardNet LCNet ESNet Swin-Transformer ConvNeXt Vision Transformer	Common Sync-BN Group Norm DCNv2 EMA

Post-processing

SoftNMS
MatrixNMS

Speed

FP16 training
Multi-machine training

Details

Resize
Lighting
Flipping
Expand
Crop
Color Distort
Random Erasing
Mixup
AugmentHSV
Mosaic
Cutmix
Grid Mask
Auto Augment
Random Perspective

模型性能概览

云端模型性能对比

各模型结构和骨干网络的代表模型在COCO数据集上精度mAP和单卡Tesla V100上预测速度(FPS)对比图。

**说明：** - `ViT`为`ViT-Cascade-Faster-RCNN`模型，COCO数据集mAP高达55.7% - `Cascade-Faster-RCNN`为`Cascade-Faster-RCNN-ResNet50vd-DCN`，PaddleDetection将其优化到COCO数据mAP为47.8%时推理速度为20FPS - `PP-YOLOE`是对`PP-YOLO v2`模型的进一步优化，L版本在COCO数据集mAP为51.6%，Tesla V100预测速度78.1FPS - `PP-YOLOE+`是对`PPOLOE`模型的进一步优化，L版本在COCO数据集mAP为53.3%，Tesla V100预测速度78.1FPS - [`YOLOX`](configs/yolox)和[`YOLOv5`](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov5)均为基于PaddleDetection复现算法，`YOLOv5`代码在[`PaddleYOLO`](https://github.com/PaddlePaddle/PaddleYOLO)中，参照[YOLOSERIES_MODEL](docs/feature_models/YOLOSERIES_MODEL.md) - 图中模型均可在[模型库](#模型库)中获取

移动端模型性能对比

各移动端模型在COCO数据集上精度mAP和高通骁龙865处理器上预测速度(FPS)对比图。

**说明：** - 测试数据均使用高通骁龙865(4\*A77 + 4\*A55)处理器batch size为1, 开启4线程测试，测试使用NCNN预测库，测试脚本见[MobileDetBenchmark](https://github.com/JiweiMaster/MobileDetBenchmark) - [PP-PicoDet](configs/picodet)及[PP-YOLO-Tiny](configs/ppyolo)为PaddleDetection自研模型，其余模型PaddleDetection暂未提供

模型库

1. 通用检测

#### [PP-YOLOE+](./configs/ppyoloe)系列推荐场景：Nvidia V100, T4等云端GPU和Jetson系列等边缘端设备 | 模型名称 | COCO精度（mAP） | V100 TensorRT FP16速度(FPS) | 配置文件 | 模型下载 | |:---------- |:-----------:|:-------------------------:|:-----------------------------------------------------:|:------------------------------------------------------------------------------------:| | PP-YOLOE+_s | 43.9 | 333.3 | [链接](configs/ppyoloe/ppyoloe_plus_crn_s_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_s_80e_coco.pdparams) | | PP-YOLOE+_m | 50.0 | 208.3 | [链接](configs/ppyoloe/ppyoloe_plus_crn_m_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_m_80e_coco.pdparams) | | PP-YOLOE+_l | 53.3 | 149.2 | [链接](configs/ppyoloe/ppyoloe_plus_crn_l_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_m_80e_coco.pdparams) | | PP-YOLOE+_x | 54.9 | 95.2 | [链接](configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_x_80e_coco.pdparams) | #### [PP-PicoDet](./configs/picodet)系列推荐场景：ARM CPU(RK3399, 树莓派等) 和NPU(比特大陆，晶晨等)移动端芯片和x86 CPU设备 | 模型名称 | COCO精度（mAP） | 骁龙865 四线程速度(ms) | 配置文件 | 模型下载 | |:---------- |:-----------:|:---------------:|:---------------------------------------------------:|:---------------------------------------------------------------------------------:| | PicoDet-XS | 23.5 | 7.81 | [链接](configs/picodet/picodet_xs_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_xs_320_coco_lcnet.pdparams) | | PicoDet-S | 29.1 | 9.56 | [链接](configs/picodet/picodet_s_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_s_320_coco_lcnet.pdparams) | | PicoDet-M | 34.4 | 17.68 | [链接](configs/picodet/picodet_m_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_m_320_coco_lcnet.pdparams) | | PicoDet-L | 36.1 | 25.21 | [链接](configs/picodet/picodet_l_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_l_320_coco_lcnet.pdparams) | #### 前沿检测算法 | 模型名称 | COCO精度（mAP） | V100 TensorRT FP16速度(FPS) | 配置文件 | 模型下载 | |:------------------------------------------------------------------ |:-----------:|:-------------------------:|:------------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------:| | [YOLOX-l](configs/yolox) | 50.1 | 107.5 | [链接](configs/yolox/yolox_l_300e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/yolox_l_300e_coco.pdparams) | | [YOLOv5-l](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov5) | 48.6 | 136.0 | [链接](https://github.com/nemonameless/PaddlePaddle/PaddleYOLO/blob/develop/configs/yolov5/yolov5_l_300e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/yolov5_l_300e_coco.pdparams) | | [YOLOv7-l](https://github.com/nemonameless/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov7) | 51.0 | 135.0 | [链接](https://github.com/nemonameless/PaddlePaddle/PaddleYOLO/blob/develop/configs/yolov7/yolov7_l_300e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/yolov7_l_300e_coco.pdparams) | **注意:** - `YOLOv5`和`YOLOv7`代码在[`PaddleYOLO`](https://github.com/PaddlePaddle/PaddleYOLO)中，为基于`PaddleDetection`复现的算法，可参照[YOLOSERIES_MODEL](docs/feature_models/YOLOSERIES_MODEL.md)。 #### 其他通用检测模型 [文档链接](docs/MODEL_ZOO_cn.md)

2. 实例分割

3. 关键点检测

| 模型名称 | 模型简介 | 推荐场景 | COCO精度（AP） | 速度 | 配置文件 | 模型下载 | |:------------------------------------------- |:---------------------------------------------------------------- |:---------------------------------- |:----------:|:-----------------------:|:-------------------------------------------------------:|:---------------------------------------------------------------------------------------:| | HRNet-w32 + DarkPose |

top-down 关键点检测算法
输入尺寸384x288

云边端

4. 多目标跟踪PP-Tracking

5. 产业级实时行人分析工具PP-Human

6. 产业级实时车辆分析工具PP-Vehicle

| 任务 | 端到端速度（ms）| 模型方案 | 模型体积 | | :---------: | :-------: | :------: |:------: | | 车辆检测（高精度） | 25.7ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_ppvehicle.zip) | 182M | | 车辆检测（轻量级） | 13.2ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_s_36e_ppvehicle.zip) | 27M | | 车辆跟踪（高精度） | 40ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_ppvehicle.zip) | 182M | | 车辆跟踪（轻量级） | 25ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_s_36e_ppvehicle.zip) | 27M | | 车牌识别 | 4.68ms | [车牌检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/ch_PP-OCRv3_det_infer.tar.gz)
[车牌识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/ch_PP-OCRv3_rec_infer.tar.gz) | 车牌检测：3.9M
车牌字符识别： 12M | | 车辆属性 | 7.31ms | [属性识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/vehicle_attribute_model.zip) | 7.2M | 点击模型方案中的模型即可下载指定模型详细信息参考[文档](deploy/pipeline)

文档教程

入门教程

进阶教程

参数配置
- RCNN参数说明
- PP-YOLO参数说明
模型压缩(基于PaddleSlim)
- 剪裁/量化/蒸馏教程
推理部署
进阶开发
- 数据处理模块
- 新增检测模型
- 二次开发教程
- 目标检测
- 关键点检测
- 多目标跟踪
- 行为识别
- 属性识别

课程专栏

【理论基础】目标检测7日打卡营： 目标检测任务综述、RCNN系列目标检测算法详解、YOLO系列目标检测算法详解、PP-YOLO优化策略与案例分享、AnchorFree系列算法介绍和实践
【产业实践】AI快车道产业级目标检测技术与应用： 目标检测超强目标检测算法矩阵、实时行人分析系统PP-Human、目标检测产业应用全流程拆解与实践
【行业特色】2022.3.26 智慧城市行业七日课： 城市规划、城市治理、智慧政务、交通管理、社区治理
【学术交流】2022.9.27 YOLO Vision世界学术交流大会： PaddleDetection受邀参与首个以YOLO为主题的YOLO Vision世界大会，与全球AI领先开发者学习交流

产业实践范例教程

应用案例

第三方教程推荐

版本更新

版本更新内容请参考版本更新文档

许可证书

本项目的发布受Apache 2.0 license许可认证。

贡献代码

我们非常欢迎你可以为PaddleDetection提供代码，也十分感谢你的反馈。

感谢Mandroide清理代码并且统一部分函数接口。
感谢FL77N贡献Sparse-RCNN模型。
感谢Chen-Song贡献Swin Faster-RCNN模型。
感谢yangyudong, hchhtc123 开发PP-Tracking GUI界面
感谢Shigure19 开发PP-TinyPose健身APP
感谢manangoel99贡献Wandb可视化方式

引用

@misc{ppdet2019,
title={PaddleDetection, Object detection and instance segmentation toolkit based on PaddlePaddle.},
author={PaddlePaddle Authors},
howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}},
year={2019}
}

README.md