bev-project/project/docs/CHECKPOINT_MISMATCH_EXPLANATION.md

# 为什么从Epoch 1重新开始训练？

**问题**：加载epoch_19.pth后，训练从Epoch 1开始而不是Epoch 20继续

---

## 🔍 根本原因

### 模型架构不匹配

**epoch_19.pth训练时使用**：`BEVSegmentationHead`（原始简单版本）  
**当前训练使用**：`EnhancedBEVSegmentationHead`（增强复杂版本）

这两个分割头的**网络结构完全不同**，导致权重无法对应。

---

## 📊 架构对比

### 原始 BEVSegmentationHead（epoch_19.pth中）

```python
classifier: Sequential(
    Conv2d(512, 512, 3×3)           # 第1层卷积
    BatchNorm2d(512)                # BN
    ReLU
    Conv2d(512, 512, 3×3)           # 第2层卷积
    BatchNorm2d(512)                # BN
    ReLU
    Conv2d(512, 6, 1×1)             # 输出层
)
```

**参数结构**：
```
heads.map.classifier.0.weight    [512, 512, 3, 3]
heads.map.classifier.1.weight    [512]
heads.map.classifier.1.bias      [512]
heads.map.classifier.3.weight    [512, 512, 3, 3]
heads.map.classifier.4.weight    [512]
heads.map.classifier.4.bias      [512]
heads.map.classifier.6.weight    [6, 512, 1, 1]
heads.map.classifier.6.bias      [6]
```

**总参数量**：约2.4M

---

### 增强 EnhancedBEVSegmentationHead（当前使用）

```python
# 1. ASPP模块（多尺度特征提取）
aspp:
    - convs[0]: Conv2d(512, 256, 1×1) + GroupNorm(32, 256)
    - convs[1]: Conv2d(512, 256, 3×3, dilation=6) + GroupNorm
    - convs[2]: Conv2d(512, 256, 3×3, dilation=12) + GroupNorm
    - convs[3]: Conv2d(512, 256, 3×3, dilation=18) + GroupNorm
    - global branch: Conv2d + GroupNorm
    - project: Conv2d(256×5, 256) + GroupNorm

# 2. 注意力模块
channel_attn:
    - avg_pool + max_pool
    - fc: Conv2d(256, 16) + ReLU + Conv2d(16, 256)
    
spatial_attn:
    - Conv2d(2, 1, 7×7)

# 3. 深层解码器（4层）
decoder:
    - layer1: Conv2d(256, 256) + GroupNorm + ReLU + Dropout
    - layer2: Conv2d(256, 128) + GroupNorm + ReLU + Dropout
    - layer3: Conv2d(128, 128) + GroupNorm + ReLU + Dropout

# 4. 分类器（6个独立分类器，每个类别一个）
classifiers[0-5]:  # 每个类别独立
    - Conv2d(128, 64) + GroupNorm + ReLU
    - Conv2d(64, 1, 1×1)

# 5. 辅助分类器（深度监督）
aux_classifier:
    - Conv2d(256, 6, 1×1)
```

**参数结构**：
```
heads.map.aspp.convs.0.weight              [256, 512, 1, 1]
heads.map.aspp.bns.0.weight                [256]
heads.map.aspp.convs.1.weight              [256, 512, 3, 3]
heads.map.aspp.bns.1.weight                [256]
... (ASPP继续)
heads.map.channel_attn.fc.0.weight         [16, 256, 1, 1]
heads.map.channel_attn.fc.2.weight         [256, 16, 1, 1]
heads.map.spatial_attn.conv.weight         [1, 2, 7, 7]
heads.map.decoder.0.weight                 [256, 256, 3, 3]
heads.map.decoder.1.weight                 [256]  # GroupNorm
... (解码器继续)
heads.map.classifiers.0.0.weight           [64, 128, 3, 3]
heads.map.classifiers.0.1.weight           [64]  # GroupNorm
heads.map.classifiers.0.3.weight           [1, 64, 1, 1]
... (6个分类器)
heads.map.aux_classifier.weight            [6, 256, 1, 1]
```

**总参数量**：约5.6M（是原始的2.3倍）

---

## ⚠️ 权重加载冲突

### Checkpoint加载日志

```
WARNING: The model and loaded state dict do not match exactly

unexpected key in source state dict:
- heads.map.classifier.0.weight
- heads.map.classifier.1.weight
- heads.map.classifier.1.bias
- heads.map.classifier.3.weight
- heads.map.classifier.4.weight
- heads.map.classifier.6.weight
- heads.map.classifier.6.bias

missing keys in source state dict:
- heads.map.aspp.convs.0.weight (新增)
- heads.map.aspp.bns.0.weight (新增)
- heads.map.aspp.bns.1.weight (新增)
- heads.map.channel_attn.fc.0.weight (新增)
- heads.map.spatial_attn.conv.weight (新增)
- heads.map.decoder.0.weight (新增)
- heads.map.classifiers.0.0.weight (新增)
- heads.map.classifiers.1.0.weight (新增)
... (共70+个missing keys)
```

---

## 🔄 实际加载情况

### ✅ 成功复用的部分（占总模型90%）

| 模块 | 状态 | 说明 |
|------|------|------|
| **Camera Encoder** | ✅ 完全复用 | SwinTransformer backbone (97M参数) |
| **Camera Neck** | ✅ 完全复用 | GeneralizedLSSFPN |
| **View Transform** | ✅ 完全复用 | DepthLSSTransform |
| **LiDAR Encoder** | ✅ 完全复用 | SparseEncoder |
| **Fuser** | ✅ 完全复用 | ConvFuser |
| **Decoder Backbone** | ✅ 完全复用 | SECOND + SECONDFPN |
| **Object Head** | ✅ 完全复用 | TransFusionHead (检测) |

### ❌ 无法复用的部分（需要重新训练）

| 模块 | 状态 | 说明 |
|------|------|------|
| **Map Head** | ❌ 随机初始化 | EnhancedBEVSegmentationHead (5.6M参数) |

---

## 📈 训练策略差异

### 场景1：继续训练（相同架构）

```python
# 如果使用原始BEVSegmentationHead
--load_from epoch_19.pth

结果：
✅ 所有权重完全匹配
✅ 从Epoch 20继续训练
✅ 只需训练剩余4个epochs (20→23)
✅ 约14小时完成
```

### 场景2：迁移学习（架构改变）- 当前情况

```python
# 使用EnhancedBEVSegmentationHead
--load_from epoch_19.pth

结果：
✅ Encoder/Decoder权重复用（预训练特征提取器）
❌ Map Head随机初始化（需要重新学习）
⚠️ 从Epoch 1开始训练
⚠️ 需要完整23个epochs
⚠️ 约6天完成
```

---

## 🎯 为什么从Epoch 1开始？

### 技术原因

1. **Optimizer State不匹配**
   - epoch_19.pth中保存的Adam optimizer state（momentum、variance）
   - 这些state是针对**原始classifier参数**的
   - EnhancedHead的参数完全不同，optimizer state无法对应

2. **Learning Rate Schedule重置**
   - CosineAnnealing LR scheduler从epoch 19的位置
   - 但Map Head是随机初始化，需要从头开始学习
   - 如果从epoch 20继续，LR会非常小（5e-6），不利于新模块训练

3. **训练逻辑设计**
   - `--load_from`只加载模型权重（weight transfer）
   - 不加载训练状态（epoch、optimizer、scheduler）
   - 训练会自动从epoch 1开始

### 如果想从Epoch 20继续？

需要使用`--resume_from`而不是`--load_from`：

```bash
# 继续训练（相同架构）
--resume_from epoch_19.pth  
# 加载：模型权重 + optimizer + scheduler + epoch number

# 迁移学习（不同架构）
--load_from epoch_19.pth
# 只加载：匹配的模型权重
```

但在架构不匹配时，`--resume_from`会失败，因为optimizer state无法对应。

---

## 💡 优势分析

虽然从Epoch 1开始训练时间更长，但有以下优势：

### 1. 更充分的特征学习
```
Encoder (已预训练) → 提供高质量BEV特征
    ↓
EnhancedHead (从0开始) → 充分学习如何使用这些特征
```

### 2. 避免负迁移
- 如果强制从epoch 20继续，极小的LR会导致：
  - EnhancedHead学习缓慢
  - 可能陷入次优解
  - 无法发挥增强架构的优势

### 3. 训练曲线更健康
```
Epoch 1-5:   Encoder微调 + Head快速学习
Epoch 6-15:  整体收敛
Epoch 16-23: 精细调优
```

---

## 📊 预期性能对比

### 原始配置（如果继续epoch 19→23）
```
训练时间：14小时
分割mIoU：42-45%
稳定性：✅ 高
```

### 增强配置（当前，epoch 1→23）
```
训练时间：6天
分割mIoU：55-60%（预期）
提升：+13-18%
稳定性：✅ 已修复（GroupNorm）
```

---

## 🔧 技术细节：Checkpoint结构

### epoch_19.pth包含：

```python
{
    'state_dict': {
        # 模型权重
        'encoders.camera.backbone.xxx': tensor(...),
        'heads.map.classifier.0.weight': tensor([512,512,3,3]),
        'heads.object.xxx': tensor(...),
        ...
    },
    'optimizer': {
        # Adam optimizer状态
        'state': {...},
        'param_groups': [{'lr': 5.089e-06, ...}]
    },
    'meta': {
        'epoch': 19,
        'iter': 77240,
        'lr': [5.089e-06],
        ...
    }
}
```

### 使用--load_from时：

```python
# PyTorch加载逻辑
checkpoint = torch.load('epoch_19.pth')
model.load_state_dict(checkpoint['state_dict'], strict=False)
# strict=False: 允许部分匹配
# 只加载state_dict，忽略optimizer和meta
```

### 匹配结果：

```python
✅ 匹配: encoders.camera.* (完全复用)
✅ 匹配: encoders.lidar.* (完全复用)
✅ 匹配: fuser.* (完全复用)
✅ 匹配: decoder.* (完全复用)
✅ 匹配: heads.object.* (完全复用)
❌ 不匹配: heads.map.classifier.* (被忽略)
⚠️ 缺失: heads.map.aspp.* (随机初始化)
⚠️ 缺失: heads.map.channel_attn.* (随机初始化)
⚠️ 缺失: heads.map.decoder.* (随机初始化)
⚠️ 缺失: heads.map.classifiers.* (随机初始化)
```

---

## 📝 总结

### 核心原因

**EnhancedBEVSegmentationHead与原始BEVSegmentationHead是完全不同的网络架构**：
- 原始：3层简单CNN（2.4M参数）
- 增强：ASPP+注意力+深层解码器（5.6M参数）

**权重无法对应**：
- ✅ 90%的模型（backbone/encoder/detector）可以复用
- ❌ 10%的模型（分割头）需要从零开始训练

**训练策略**：
- 使用`--load_from`：只加载匹配的权重，从epoch 1开始
- 这是**迁移学习**的标准做法，不是bug

### 类比理解

就像：
```
有一辆车（epoch_19），已经跑了19万公里
现在要把发动机（map head）换成涡轮增压版（enhanced head）
虽然车身、底盘、变速箱都是原来的（encoder/decoder）
但新发动机需要重新磨合（从epoch 1训练）
不能直接从19万公里继续跑
```

---

**生成时间**：2025-10-21 11:40 UTC  
**当前训练**：Epoch 1/23，正常进行中  
**预计完成**：2025-10-27（6天后）