378 lines
28 KiB
Plaintext
378 lines
28 KiB
Plaintext
================================================================================
|
||
BEVFusion 项目调用关系流程图
|
||
================================================================================
|
||
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ 训练流程 (tools/train.py) │
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
│
|
||
┌────────────────────┼────────────────────┐
|
||
│ │ │
|
||
▼ ▼ ▼
|
||
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
|
||
│ 加载配置文件 │ │ 初始化分布式 │ │ 设置随机种子 │
|
||
│ (YAML) │ │ (torchpack) │ │ (seed) │
|
||
└───────────────┘ └───────────────┘ └───────────────┘
|
||
│
|
||
▼
|
||
┌───────────────────────────────────────┐
|
||
│ build_dataset() → NuScenesDataset │
|
||
│ ├── LoadMultiViewImageFromFiles │
|
||
│ ├── LoadPointsFromFile/FromMultiSweeps│
|
||
│ ├── LoadAnnotations3D │
|
||
│ ├── ObjectSample (数据增强) │
|
||
│ ├── RandomFlip3D │
|
||
│ ├── GlobalRotScaleTrans │
|
||
│ └── Normalize, Pad, FormatBundle │
|
||
└───────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌───────────────────────────────────────┐
|
||
│ build_model() → BEVFusion Model │
|
||
│ (见下方模型结构详图) │
|
||
└───────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌───────────────────────────────────────┐
|
||
│ train_model() │
|
||
│ ├── EpochBasedRunner │
|
||
│ ├── Optimizer (AdamW) │
|
||
│ ├── LrScheduler (OneCycle) │
|
||
│ ├── Checkpoint Hook │
|
||
│ ├── Evaluation Hook │
|
||
│ └── Logger Hook │
|
||
└───────────────────────────────────────┘
|
||
|
||
================================================================================
|
||
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ BEVFusion 模型结构详图 │
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
|
||
输入数据:
|
||
┌──────────────────────┐ ┌──────────────────────┐ ┌──────────────────┐
|
||
│ 多视角图像 (6个) │ │ LiDAR点云 │ │ Radar点云(可选) │
|
||
│ (B,6,3,H,W) │ │ List[Points(N,C)] │ │ List[Points] │
|
||
└──────────────────────┘ └──────────────────────┘ └──────────────────┘
|
||
│ │ │
|
||
│ │ │
|
||
▼ ▼ ▼
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ ENCODERS (编码器) │
|
||
├─────────────────────────────────────────────────────────────────────────┤
|
||
│ │
|
||
│ ┌─────────────────────────┐ ┌──────────────────┐ ┌─────────────────┐│
|
||
│ │ Camera Encoder │ │ LiDAR Encoder │ │ Radar Encoder ││
|
||
│ ├─────────────────────────┤ ├──────────────────┤ ├─────────────────┤│
|
||
│ │ │ │ │ │ ││
|
||
│ │ ┌─────────────────┐ │ │ ┌──────────────┐ │ │ ┌─────────────┐││
|
||
│ │ │ Backbone │ │ │ │ Voxelize │ │ │ │ Voxelize │││
|
||
│ │ │ - ResNet50 │ │ │ │ - Hard/ │ │ │ │ - Dynamic │││
|
||
│ │ │ - ResNet101 │ │ │ │ Dynamic │ │ │ │ Scatter │││
|
||
│ │ │ - SwinTransformer│ │ │ └──────┬───────┘ │ │ └──────┬──────┘││
|
||
│ │ │ - VoVNet │ │ │ │ │ │ │ ││
|
||
│ │ └────────┬──────────┘ │ │ ▼ │ │ ▼ ││
|
||
│ │ │ │ │ ┌──────────────┐ │ │ ┌─────────────┐││
|
||
│ │ ▼ │ │ │ Backbone │ │ │ │ Backbone │││
|
||
│ │ ┌─────────────────┐ │ │ │ Sparse │ │ │ │ Radar │││
|
||
│ │ │ Neck (FPN) │ │ │ │ Encoder │ │ │ │ Encoder │││
|
||
│ │ │ - Generalized │ │ │ │ - VoxelRes │ │ │ │ │││
|
||
│ │ │ LSSFPN │ │ │ │ BackBone │ │ │ │ │││
|
||
│ │ │ - FPN │ │ │ │ 8x │ │ │ │ │││
|
||
│ │ └────────┬──────────┘ │ │ └──────┬───────┘ │ │ └──────┬──────┘││
|
||
│ │ │ │ │ │ │ │ │ ││
|
||
│ │ ▼ │ │ │ │ │ │ ││
|
||
│ │ ┌─────────────────┐ │ │ │ │ │ │ ││
|
||
│ │ │ VTransform │ │ │ │ │ │ │ ││
|
||
│ │ │ - LSS │ │ │ │ │ │ │ ││
|
||
│ │ │ - DepthLSS │ │ │ │ │ │ │ ││
|
||
│ │ │ - BEVDepth │ │ │ │ │ │ │ ││
|
||
│ │ │ - AwareBEVDepth │ │ │ │ │ │ │ ││
|
||
│ │ │ │ │ │ │ │ │ │ ││
|
||
│ │ │ 步骤: │ │ │ │ │ │ │ ││
|
||
│ │ │ 1.预测深度分布 │ │ │ │ │ │ │ ││
|
||
│ │ │ 2.Frustum构建 │ │ │ │ │ │ │ ││
|
||
│ │ │ 3.BEV Pooling★ │ │ │ │ │ │ │ ││
|
||
│ │ └────────┬──────────┘ │ │ │ │ │ │ ││
|
||
│ │ │ │ │ │ │ │ │ ││
|
||
│ └──────────┼────────────────┘ └────────┼─────────┘ └────────┼───────┘│
|
||
│ │ │ │ │
|
||
│ ▼ ▼ ▼ │
|
||
│ ┌────────────────┐ ┌────────────────┐ ┌───────────────┐│
|
||
│ │ Camera BEV │ │ LiDAR BEV │ │ Radar BEV ││
|
||
│ │ (B,C1,H,W) │ │ (B,C2,H,W) │ │ (B,C3,H,W) ││
|
||
│ └────────────────┘ └────────────────┘ └───────────────┘│
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
│ │ │
|
||
└─────────────────────────────┼────────────────────────┘
|
||
│
|
||
▼
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ FUSER (融合器) │
|
||
├─────────────────────────────────────────────────────────────────────────┤
|
||
│ │
|
||
│ ConvFuser AddFuser │
|
||
│ ┌─────────────────┐ ┌──────────────────┐ │
|
||
│ │ Conv → Concat │ │ Element-wise Add │ │
|
||
│ │ ↓ │ └──────────────────┘ │
|
||
│ │ Conv → ReLU │ │
|
||
│ │ ↓ │ │
|
||
│ │ Output │ │
|
||
│ └─────────────────┘ │
|
||
│ │
|
||
│ 输出: Unified BEV Features (B, C_out, H, W) │
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ DECODER (解码器) │
|
||
├─────────────────────────────────────────────────────────────────────────┤
|
||
│ │
|
||
│ ┌──────────────────────────────────────────┐ │
|
||
│ │ Backbone (SECOND / ResNet) │ │
|
||
│ │ ├── Conv Block 1 (stride=1) │ │
|
||
│ │ ├── Conv Block 2 (stride=2) │ │
|
||
│ │ ├── Conv Block 3 (stride=2) │ │
|
||
│ │ └── Conv Block 4 (stride=2) │ │
|
||
│ └────────────────┬─────────────────────────┘ │
|
||
│ │ │
|
||
│ ▼ │
|
||
│ ┌──────────────────────────────────────────┐ │
|
||
│ │ Neck (SECONDFPN) │ │
|
||
│ │ ├── Deconv + Concat (上采样) │ │
|
||
│ │ ├── Multi-scale Feature Fusion │ │
|
||
│ │ └── Output: [P3, P4, P5] │ │
|
||
│ └────────────────┬─────────────────────────┘ │
|
||
│ │ │
|
||
└───────────────────┼─────────────────────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ HEADS (任务头) │
|
||
├─────────────────────────────────────────────────────────────────────────┤
|
||
│ │
|
||
│ ┌────────────────────────────┐ ┌─────────────────────────────┐ │
|
||
│ │ Object Detection Head │ │ Map Segmentation Head │ │
|
||
│ │ (TransFusion/CenterPoint) │ │ (VanillaSegHead) │ │
|
||
│ ├────────────────────────────┤ ├─────────────────────────────┤ │
|
||
│ │ │ │ │ │
|
||
│ │ ┌────────────────────┐ │ │ ┌─────────────────────┐ │ │
|
||
│ │ │ Heatmap分支 │ │ │ │ Conv Layers │ │ │
|
||
│ │ │ - Conv │ │ │ │ - Conv 3x3 │ │ │
|
||
│ │ │ - Sigmoid │ │ │ │ - BatchNorm │ │ │
|
||
│ │ │ → 类别热图 │ │ │ │ - ReLU │ │ │
|
||
│ │ └────────────────────┘ │ │ │ - Upsample │ │ │
|
||
│ │ │ │ │ - Conv 1x1 │ │ │
|
||
│ │ ┌────────────────────┐ │ │ │ → 分割logits │ │ │
|
||
│ │ │ Bbox回归分支 │ │ │ └─────────────────────┘ │ │
|
||
│ │ │ - Center offset │ │ │ │ │
|
||
│ │ │ - Size (w,h,l) │ │ │ 训练: CrossEntropyLoss │ │
|
||
│ │ │ - Rotation (yaw) │ │ │ 推理: Argmax → Mask │ │
|
||
│ │ │ - Velocity (vx,vy)│ │ │ │ │
|
||
│ │ └────────────────────┘ │ │ 输出: (B, H, W) │ │
|
||
│ │ │ │ 语义分割结果 │ │
|
||
│ │ ┌────────────────────┐ │ └─────────────────────────────┘ │
|
||
│ │ │ Transformer │ │ │
|
||
│ │ │ Decoder (可选) │ │ │
|
||
│ │ │ - Query-based │ │ │
|
||
│ │ │ - Cross Attention │ │ │
|
||
│ │ └────────────────────┘ │ │
|
||
│ │ │ │
|
||
│ │ 训练模式: │ │
|
||
│ │ └→ loss计算 │ │
|
||
│ │ ├── FocalLoss │ │
|
||
│ │ ├── L1Loss │ │
|
||
│ │ └── IoULoss │ │
|
||
│ │ │ │
|
||
│ │ 推理模式: │ │
|
||
│ │ └→ get_bboxes() │ │
|
||
│ │ ├── 提取峰值 │ │
|
||
│ │ ├── 解码参数 │ │
|
||
│ │ ├── NMS │ │
|
||
│ │ └→ Boxes3D │ │
|
||
│ │ │ │
|
||
│ │ 输出: (boxes, scores, │ │
|
||
│ │ labels, velocity) │ │
|
||
│ └────────────────────────────┘ │
|
||
│ │
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
│ │
|
||
▼ ▼
|
||
┌──────────────┐ ┌──────────────┐
|
||
│ 3D Detection │ │ BEV Segment │
|
||
│ Results │ │ Results │
|
||
└──────────────┘ └──────────────┘
|
||
|
||
================================================================================
|
||
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ 关键模块调用关系 │
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
|
||
1. 模型构建 (builder.py):
|
||
───────────────────────────────────────────────────────
|
||
build_model()
|
||
│
|
||
├→ build_backbone() → BACKBONES.build()
|
||
├→ build_neck() → NECKS.build()
|
||
├→ build_vtransform()→ VTRANSFORMS.build()
|
||
├→ build_fuser() → FUSERS.build()
|
||
└→ build_head() → HEADS.build()
|
||
|
||
|
||
2. 数据加载 (datasets/nuscenes_dataset.py):
|
||
───────────────────────────────────────────────────────
|
||
NuScenesDataset
|
||
│
|
||
├→ __getitem__()
|
||
│ └→ pipeline(data_info)
|
||
│ ├→ LoadMultiViewImageFromFiles
|
||
│ ├→ LoadPointsFromFile
|
||
│ ├→ LoadAnnotations3D
|
||
│ ├→ ObjectSample
|
||
│ ├→ GlobalRotScaleTrans
|
||
│ ├→ RandomFlip3D
|
||
│ └→ FormatBundle3D
|
||
│
|
||
└→ evaluate()
|
||
├→ format_results()
|
||
└→ NuScenesEval()
|
||
|
||
|
||
3. 训练循环 (apis/train.py):
|
||
───────────────────────────────────────────────────────
|
||
train_model()
|
||
│
|
||
├→ build_optimizer()
|
||
├→ build_runner() → EpochBasedRunner
|
||
│ │
|
||
│ └→ run()
|
||
│ └→ for epoch in epochs:
|
||
│ ├→ train_epoch()
|
||
│ │ └→ for batch in dataloader:
|
||
│ │ ├→ model.forward() → losses
|
||
│ │ ├→ optimizer.zero_grad()
|
||
│ │ ├→ losses.backward()
|
||
│ │ └→ optimizer.step()
|
||
│ │
|
||
│ └→ validate_epoch()
|
||
│ └→ model.eval()
|
||
│ └→ single_gpu_test()
|
||
│
|
||
└→ Hooks
|
||
├→ CheckpointHook (保存模型)
|
||
├→ EvalHook (验证)
|
||
├→ LoggerHook (日志)
|
||
└→ LrSchedulerHook (学习率)
|
||
|
||
|
||
4. 推理流程 (apis/test.py):
|
||
───────────────────────────────────────────────────────
|
||
single_gpu_test() / multi_gpu_test()
|
||
│
|
||
└→ for batch in dataloader:
|
||
├→ model.forward() → predictions
|
||
├→ post_process()
|
||
└→ collect_results()
|
||
|
||
→ evaluate()
|
||
└→ compute_metrics()
|
||
|
||
|
||
5. 配置加载 (utils/config.py):
|
||
───────────────────────────────────────────────────────
|
||
configs.load(yaml_file, recursive=True)
|
||
│
|
||
└→ 递归加载继承的配置文件
|
||
└→ merge configurations
|
||
└→ Config(dict)
|
||
|
||
|
||
6. CUDA算子调用:
|
||
───────────────────────────────────────────────────────
|
||
ops/bev_pool/bev_pool.py
|
||
└→ bev_pool_v2() → CUDA kernel
|
||
|
||
ops/spconv/conv.py
|
||
└→ SparseConv3d() → CUDA sparse conv
|
||
|
||
ops/voxel/voxelize.py
|
||
└→ Voxelization() → CUDA voxelize
|
||
|
||
================================================================================
|
||
|
||
┌─────────────────────────────────────────────────────────────────────────┐
|
||
│ 文件组织结构映射 │
|
||
└─────────────────────────────────────────────────────────────────────────┘
|
||
|
||
配置层:
|
||
configs/*.yaml → 定义模型结构和训练参数
|
||
|
||
入口层:
|
||
tools/train.py → 训练入口
|
||
tools/test.py → 测试入口
|
||
|
||
数据层:
|
||
mmdet3d/datasets/
|
||
├── nuscenes_dataset.py → 数据集定义
|
||
├── pipelines/ → 数据处理管道
|
||
│ ├── loading.py → 数据加载
|
||
│ ├── transforms_3d.py → 3D变换
|
||
│ └── formating.py → 格式化
|
||
└── builder.py → 数据集构建器
|
||
|
||
模型层:
|
||
mmdet3d/models/
|
||
├── fusion_models/
|
||
│ └── bevfusion.py → 主模型
|
||
├── backbones/ → 特征提取
|
||
│ ├── resnet.py
|
||
│ ├── sparse_encoder.py
|
||
│ └── ...
|
||
├── necks/ → 特征金字塔
|
||
│ ├── generalized_lss.py
|
||
│ └── second.py
|
||
├── vtransforms/ → 视图转换
|
||
│ ├── lss.py
|
||
│ └── depth_lss.py
|
||
├── fusers/ → 模态融合
|
||
│ ├── conv.py
|
||
│ └── add.py
|
||
├── heads/ → 任务头
|
||
│ ├── bbox/transfusion.py
|
||
│ └── segm/vanilla.py
|
||
└── builder.py → 模型构建器
|
||
|
||
算子层:
|
||
mmdet3d/ops/
|
||
├── bev_pool/ → BEV pooling (CUDA)
|
||
├── spconv/ → 稀疏卷积 (CUDA)
|
||
├── voxel/ → 体素化 (CUDA)
|
||
└── ...
|
||
|
||
API层:
|
||
mmdet3d/apis/
|
||
└── train.py → 训练API
|
||
|
||
工具层:
|
||
mmdet3d/utils/
|
||
├── config.py → 配置处理
|
||
└── logger.py → 日志
|
||
|
||
核心层:
|
||
mmdet3d/core/
|
||
├── bbox/ → 3D框处理
|
||
├── points/ → 点云处理
|
||
└── voxel/ → 体素处理
|
||
|
||
================================================================================
|
||
|
||
★ 标记说明:
|
||
- BEV Pooling: 核心优化算子，速度提升40x
|
||
- 所有模块均支持分布式训练
|
||
- 配置系统支持继承和覆盖
|
||
- 支持FP16混合精度训练
|
||
|
||
================================================================================
|
||
|