使用TensorFlow的matmul时dtype=tf.float32出现异常结果问题咨询

这是TensorFlow 2.3.0版本的已知Bug，触发原因是该版本底层针对float32类型的矩阵乘法硬件加速逻辑存在缺陷。

• 2.3.0版本对CPU端AVX2/FMA指令集的运算优化、或是部分NVIDIA显卡的CUDA运算核实现存在问题，在处理小尺寸float32矩阵运算时会偶发计算错误。int32、float64类型的矩阵运算走的是不同的底层实现路径，不会触发该缺陷，因此结果正常。
• 该问题属于版本适配缺陷，已经在2.4.0及后续的TensorFlow正式版本中被官方修复。

如果需要继续使用2.3.0版本，可在代码开头添加如下配置关闭激进的硬件加速优化，即可得到正确计算结果：

import os
# 关闭CPU端MKL优化的原生格式支持
os.environ['TF_ENABLE_MKL_NATIVE_FORMAT'] = '0'
# 若使用GPU运行可额外添加这行关闭CUDNN自动调优
os.environ['TF_CUDNN_USE_AUTOTUNE'] = '0'

如果没有版本绑定要求，直接升级TensorFlow到2.4.0及以上版本，也可以彻底解决该问题。

内容的提问来源于stack exchange，提问作者Mark DiDi