CuPy执行矩阵点积运算时出现非预期大结果的问题咨询

问题根因 #

你遇到的错误是in-place矩阵乘法的输入输出内存别名冲突，属于cuBLAS库的使用约束问题，和流调度、竞态条件无关。

• cuBLAS的矩阵乘法接口原生不支持输入矩阵和输出矩阵指向同一块内存（别名重叠）。你执行cp.dot(aa1, aa2, out=aa2)时，aa2同时作为输入参数和输出地址，运算过程中还没读完的原始aa2值会被新写入的结果覆盖，后续计算读取的都是脏数据，自然得到错误的大数值。
• 小尺寸（N=100）场景下结果正确纯属巧合：不同尺寸的矩阵乘法会触发cuBLAS不同的实现路径，小矩阵的运算可能刚好在覆盖输出前就读完了所有输入值，所以没有触发错误，但这个行为完全不可靠，不属于官方保证的合法用法。大矩阵采用分块计算策略，边算边写输出，必然会出现输入数据被提前覆盖的问题，每次运行的分块调度细节不同，所以每次输出的错误值都不一样。

修复方法 #

不要让in-place输出和输入矩阵重叠，用临时变量存储中间计算结果即可，修改后代码如下：

import cupy as cp, numpy as np

N=500
aa1=cp.random.randn(N,N)
aa2= cp.random.randn(N,N)
aa3=cp.random.randn(N,N)
cc=aa1.dot(aa2).dot(aa3)

# 新增临时变量存中间结果，不直接覆盖作为输入的aa2
temp = cp.dot(aa1, aa2)
cp.dot(temp, aa3, out=aa2)
print(cp.max(cp.abs(cc-aa2)))

修改后输出值为正常的浮点计算误差（接近0），符合预期。

内容的提问来源于stack exchange，提问作者Mikhail Genkin