3D空间稀疏点检测任务应选用哪种深度学习网络结构？

网络结构选型 #

优先选择2D-3D混合架构，适配你可变数量2D输入、3D稀疏输出的任务特点，比纯2D/3D Unet效果更好：

• 前端用2D特征提取器（可选用轻量ResNet、2D Unet encoder）对每张1024x1024的灰度图单独提取多尺度特征，下采样到和输出匹配的64x64特征尺寸
• 中间用视角融合模块：如果有采集图像对应的相机内外参，直接用可微投影矩阵把2D特征投影到3D空间；如果没有相机参数，可以用跨视角注意力模块做特征对齐，把多视角2D特征升维到64x64x64的3D特征网格
• 后端接轻量3D decoder，仅需2-3层3D卷积即可，如果你正样本稀疏度极高，推荐替换普通3D卷积为子流形稀疏卷积，只会对有特征激活的位置做计算，既能降低算力消耗，也能强化网络对稀疏正样本的感知能力

损失函数调整 #

你当前的核心矛盾是极端类别不平衡，损失函数优先做如下调整：

• 替换普通交叉熵损失为Focal Loss，并设置类别权重，正样本权重设为负样本的(64*64*64/2000)≈131倍，拉高正样本对梯度的贡献，避免网络直接输出全0结果
• 可额外搭配Dice Loss或Tversky Loss联合训练，这类基于交并比的损失对样本不平衡的敏感度远低于交叉熵，更适配稀疏分割任务
• 末端激活函数替换为Sigmoid，直接输出每个体素为正样本的概率，后续自定义阈值判断0/1即可，比ReLU-with-ceiling更适配二分类任务

评估指标选择 #

完全放弃准确率指标，改用如下可真实反映稀疏目标检测效果的指标：

• 召回率（Recall）：统计网络能正确检测出的正体素占所有真实正体素的比例
• 精确率（Precision）：统计网络预测的正体素中真实正体素的占比
• F1分数：召回率和精确率的调和平均，平衡两类错误的综合指标
• 二分类mIoU：预测正样本和真实正样本的交并比，是最能反映分割效果的核心指标

参考资料 #

1. 《Submanifold Sparse Convolutional Networks》：稀疏卷积的经典实现，是当前3D稀疏任务的主流基础架构
2. Focal Loss相关研究：专门针对极端类别不平衡的分类/分割任务设计的损失函数，可大幅降低简单负样本对训练的干扰
3. 多视角3D重建相关的视角融合框架：可直接适配你多灰度图输入转3D体素输出的pipeline需求

内容的提问来源于stack exchange，提问作者EJ Song