关于CNN中距离图像非对称滤波器尺寸及全景图像滤波器适配的技术问询

嘿，这两个问题都挺贴合实际场景的，刚好我之前做相关任务时关注过这些方向，给你详细唠唠：

一、距离图像中的非对称滤波器研究 #

当然有相关研究啦！距离图像（比如LiDAR深度图、单目估计的深度图）的特性和普通RGB图不太一样：它的深度梯度在不同方向上的分布往往是不均衡的——比如在室内场景中，垂直方向的深度变化可能更连续（比如墙面、家具的高度方向），而水平方向可能存在更多突变（比如不同物体的边界）；再比如自动驾驶场景下，道路的深度在水平方向变化平缓，但垂直方向（近远）的梯度变化剧烈。

针对这种特性，不少研究都用到了非对称卷积核：

• 比如在深度图的语义分割任务中，有些工作会采用3×7或7×3这类非对称卷积，专门强化对某一方向深度边缘的捕捉能力，比对称的3×3卷积能更高效地提取方向敏感的深度特征；
• 还有一些结合空洞卷积的非对称模块，在扩大感受野的同时，保持对特定方向深度变化的关注度，避免对称卷积带来的特征冗余；
• 甚至有针对距离图像噪声特性的非对称滤波器，比如垂直方向用更大的核做平滑（因为垂直方向噪声更少），水平方向用小核保留边缘（因为水平方向物体边界多）。

二、全景图像的CNN滤波器尺寸经验：直接拉伸是否合理？ #

全景图像通常是2:1甚至更极端的高宽比（比如360°全景的等距圆柱投影），直接按高宽比拉伸滤波器（比如把3×3改成3×6）不能说完全不行，但存在不少坑，得具体分析：

直接拉伸的问题 #

• 计算量与参数冗余：拉伸后的卷积核参数数量成比例增加，比如3×6的核参数是3×3的2倍，会显著提升计算成本，而很多时候这些额外参数并没有对应有效的特征；
• 球面投影畸变问题：全景图像是球面展开到平面的，左右边缘在实际球面中是相邻的，但平面上的拉伸卷积核会把左边缘和右边缘的不相关像素纳入计算，导致特征提取出现偏差；
• 纬度方向分辨率不均：在等距圆柱投影中，赤道附近的像素分辨率远高于两极，垂直方向（纬度）的拉伸滤波器在两极区域会覆盖过多冗余的低分辨率像素，反而影响特征质量。

更合理的替代方案 #

• 自适应非对称卷积+投影校正：针对全景图的投影特性调整卷积核，比如在经纬度投影中，垂直方向的卷积核尺寸随纬度动态变化（赤道用小核，两极用大核），或者先把全景图转换成立方体投影（每个面都是正方形），再用标准对称卷积；
• 球面CNN（Spherical CNN）：这是专门针对球面数据设计的卷积方式，通过重新定义卷积操作的核函数，避免平面投影带来的畸变，比单纯拉伸滤波器更适配全景图像的本质特性；
• 分视角分割处理：把全景图像分割成多个普通视角的子图（比如分成前、后、左、右四个子图），每个子图用标准CNN处理，最后再把特征融合起来，这种方式简单高效，也能避免跨边界的无效卷积；
• 带掩码的拉伸卷积：如果一定要用拉伸滤波器，记得给全景图的左右边缘加掩码，让卷积核在边缘区域只计算有效范围内的像素，避免跨边界的错误特征提取。

内容的提问来源于stack exchange，提问作者Luke