PyTorch FFT傅里叶域计算时线性不保持及索引偏移问题咨询

根本原因 #

该问题和框架Bug无关，本质是参与频域运算的信号对应的空域信号没有对齐，具体逻辑如下：

• PyTorch的rfftn指定s参数做自动补零时，默认将零补在信号的末尾（右下侧）。你直接对原始X做rfftn(X, s=cnvShape)时，对应的空域信号是「左上角为原始X、其余位置补零的cnvShape大小矩阵」。
• 3x3恒等核的full卷积结果XK对应的空域信号是「中心为原始X、四周各补一圈零的cnvShape大小矩阵」，和上一步X补零后的空域信号位置完全不一致。
  频域的算术运算对应空域的逐点算术运算，两个空域信号不对齐的前提下，直接在频域做减法自然得不到接近0的结果。你后续对X做中心零填充后再做FFT，相当于让两个频域信号对应的空域完全对齐，所以结果符合预期。

频域一致运算的实现方案 #

要保证频域运算逻辑和空域对齐，遵循以下规则即可：

• 所有参与频域运算的信号，做FFT前必须统一做相同规则的零填充到相同尺寸：如果要对应full卷积的结果，统一做中心零填充，输入尺寸为(H,W)，卷积核尺寸为(kh,kw)，full卷积尺寸为(H+kh-1, W+kw-1)，输入信号的pad规则为上下各补kh//2行、左右各补kw//2列，保证信号在填充后处于矩阵中心，和卷积结果的位置对齐。
• 如果是做same卷积场景，也可以通过相位对齐的方式实现：对卷积核先做ifftshift后再做FFT，不需要手动调整输入的补零位置，得到的频域乘积反变换后和空域same卷积结果完全对齐。
• 禁止直接对不同补零规则得到的频域信号做算术运算，频域运算的结果仅对对齐后的空域信号有效。

内容的提问来源于stack exchange，提问作者mculp