写入TFRecords后网络读取值翻倍 触发reshape张量维度不匹配报错

我记录此问题作为后续排查参考，避免后续复现同类错误时再次耗费半小时定位修复。
当前开发机器学习项目时，编写TFRecords后启动神经网络训练触发维度不匹配报错。

写入TFRecord的实现代码 #

def write_to_tfrec_spatial(training_directories, path, filename):
  record_file = filename
  n_samples = len(training_directories)
  print()
  print(n_samples)
  with tf.io.TFRecordWriter(record_file) as writer:

    print("writing", end=": ")
    for i in range(n_samples):
      if(i % 50) == 0:
        print()
      print(i, end=",")

      dir = path + training_directories[i]

      loaded = np.load(dir)
      ground = loaded["rad"]

      if normalization:
        ground = ground / max_norm_value
        print(np.amax(ground), end=",")

      padded_ground = np.pad(ground, [(3, 2), (0, 0)], mode='constant')
      inputs = data_augmentation(padded_ground)

      for input in inputs:
        tf_example = image_example_spatial(input=input, ground=padded_ground)
        writer.write(tf_example.SerializeToString())
  return record_file

训练启动代码 #

TFRecords写入完成后，通过如下代码启动训练：

model.fit(training_dataset, steps_per_epoch=steps, epochs=60, validation_data=validation_dataset, callbacks=my_callbacks)

报错日志 #

训练过程中抛出如下错误：

2 root error(s) found.
  (0) INVALID_ARGUMENT:  Input to reshape is a tensor with 376832 values, but the requested shape has 188416
     [[{{node Reshape}}]]
     [[IteratorGetNext]]
     [[IteratorGetNext/_428]]
  (1) INVALID_ARGUMENT:  Input to reshape is a tensor with 376832 values, but the requested shape has 188416
     [[{{node Reshape}}]]
     [[IteratorGetNext]]
0 successful operations.
0 derived errors ignored. [Op:__inference_train_function_165085]

排查卡点 #

多次核对各环节张量形状配置均未发现错误，但TFRecord返回的张量元素数始终异常：reshape输入的元素数恰好是目标形状要求的2倍，未定位到根因。

这个报错和pad、数据增强、模型结构逻辑无关，问题100%出在TFRecord的序列化写入或解析环节，元素数刚好差2倍是非常典型的特征配置错误，对应两个最高频的踩坑点：

• dtype不匹配（概率90%以上）：TFRecord存储二进制数组时不会主动保存数据类型信息，如果你写入时用的是numpy默认的float64类型数组转bytes存储，但是解析时调用tf.io.decode_raw指定的out_type是tf.float32，就会出现元素数翻倍的问题——float64每个元素占8字节，float32每个元素占4字节，同样长度的二进制流按float32切分，得到的元素数刚好是实际值的2倍，和你报错的数值完全吻合。
• 特征写入/解析逻辑重复：如果序列化时不小心把input和ground两个数组合并存到了同一个特征字段，或者解析时对同一个特征字段做了两次解码拼接，也会出现元素数翻倍的问题。

快速排查步骤 #

1. 在写入循环里加两行打印，确认待存储的input和padded_ground的dtype：

print(input.dtype, padded_ground.dtype)

2. 找到TFRecord的解析函数，检查decode_raw的out_type参数，必须和写入时的数组dtype完全一致。最稳妥的做法是写入前主动把numpy数组转成np.float32类型，解析时对应使用tf.float32，从源头避免dtype不匹配问题。
3. 如果dtype确认对齐，再逐行检查image_example_spatial序列化函数和解析函数，确认没有把两个数组合并存入单个特征、也没有重复解析同一个特征字段。

内容的提问来源于stack exchange，提问作者BestDogeStackoverflow