C实现MobileNetV2与Python Keras模型推理浮点精度差异问询

浮点格式差异问题 #

首先明确：Python numpy的float32和主流平台C语言的float完全遵循IEEE 754单精度浮点数标准，底层二进制存储格式没有任何差异。
你之前遇到的字符串导入导出数值不一致的问题，本质是十进制字符串和二进制浮点数转换的舍入误差：IEEE 754单精度浮点数的十进制有效数字精度只有6~7位，你用%-1.7e格式导出时，输出的十进制字符串本身就不能唯一对应一个单精度浮点数，Python和C的字符串转浮点函数的舍入逻辑细微差异，就会导致最终转换后的二进制数值不一样，和浮点格式本身无关。
要彻底避免导入导出的精度损失，不要用CSV文本格式传递浮点数据，改用二进制传输：

• Python侧用np.save("image.npy", arr.astype(np.float32))直接存二进制数组
• C侧跳过字符串转换，直接按4字节为单位读取文件内容填充float数组即可，数值会和Python侧完全一致。

推理误差来源判定 #

你现在观察到的第一层卷积就出现、最终输出在1e-6量级的误差，不属于浮点标准差异导致的问题，大概率是两类原因导致：

可预期的正常误差 #

如果确认运算逻辑完全对齐，以下场景的误差属于正常范围：

• 浮点数运算不满足结合律，卷积的乘加顺序不同会产生微小误差：比如Keras底层用im2col+矩阵乘法实现卷积，你的C实现如果用直接滑窗计算，乘加的先后顺序不同，最终结果就会有1e-7~1e-6量级的差异。
• 部分x86平台C编译器默认使用80位x87 FPU做浮点运算，中间计算精度高于单精度，最终截断回float时会和默认用SSE/AVX做单精度运算的numpy产生差异。你可以给gcc添加编译选项-mfpmath=sse -msse2 -ffp-contract=off，强制关闭高精度中间运算和浮点乘加融合，和numpy的运算行为对齐。
  这种量级的误差对于深度神经网络推理来说完全不影响最终分类结果，属于可接受的范围。

需要排查的代码问题 #

如果需要完全对齐数值，优先排查以下实现问题：

• 权重导入是否有文本转换误差，建议同样改用二进制格式传递权重
• 卷积的padding规则、滑窗步长、通道顺序（NHWC/NCHW）是否和Keras完全对齐
• 激活函数、BatchNorm的实现是否和Keras底层实现逻辑一致，比如近似函数的选择、计算顺序的差异都会引入误差

内容的提问来源于stack exchange，提问作者Ricardo