TensorFlow张量数据集转字典结构时出现异常全零值问题

你的预处理流程确实会触发这类全零样本异常，核心错误出在特征拼接与重塑逻辑，shuffle、repeat、prefetch环节不是问题诱因。

具体错误说明 #

1. 张量拼接维度逻辑错误
   执行batch(12)之后，每个特征字段对应的张量形状为(12,)，即每个特征存储了当前批次12个样本的对应值。你当前的实现是把41个形状为(12,)的特征张量沿第0维拼接，得到长度为12*41=492的一维张量，再直接reshape为(-1,41)——这个操作输出的张量形状虽然符合(12,41)的预期，但数据排列完全错位：

TensorFlow默认按行优先规则执行reshape，最终输出的x每一行会混合来自不同特征、不同样本的数值。比如第一行的41个值，会依次取第一个特征的全部12个样本值、第二个特征的全部12个样本值、第三个特征的全部12个样本值、第四个特征的前5个样本值，根本不是单个样本对应的41个特征。
如果数据集本身0值占比不低，错位拼接后刚好凑出整行41个值全为0的概率很高，和你观察到的异常现象完全匹配。

2. 特征遍历顺序无稳定保证
   你直接遍历普通Python字典的keys()筛选非'class'字段，在TensorFlow图执行模式下，普通字典的键遍历顺序没有一致性保证，就算修复了拼接维度问题，也可能出现特征顺序随机错乱的隐患。

调整拼接逻辑：先给每个特征张量扩展最后一维，再沿特征维度（axis=1）拼接，同时提前固定特征遍历顺序，修改后的代码如下：

import tensorflow as tf
import collections

def preprocess(dataset):
    # 提前获取固定顺序的特征列表，避免遍历顺序漂移
    feature_names = [key for key in dataset.element_spec.keys() if key != 'class']

    def batch_format_fn(element):
        # 每个特征从(batch_size,)转为(batch_size,1)，沿axis=1拼接得到正确的(batch_size,41)结构
        x = tf.concat(
            [tf.expand_dims(element[name], axis=-1) for name in feature_names],
            axis=1
        )
        y = tf.reshape(element['class'], [-1, 1])
        return collections.OrderedDict(x=x, y=y)
    
    # 常规训练建议先shuffle再repeat，保证每个epoch的打乱独立性，避免同一样本跨轮次相邻
    return dataset.shuffle(100, seed=1).repeat(5).batch(12).map(batch_format_fn).prefetch(10)

内容的提问来源于stack exchange，提问作者Kaypee