如何将两个Pandas衍生Tensor组合为MNIST样式的PrefetchDataset？

你用concat报错是因为这个方法是用来在指定维度拼接张量的，而你需要的是把输入特征和目标值一一配对组成(input_tensor, target_tensor)的样本结构，这和concat的用途完全不符。

下面是正确的实现步骤：

1. 配对输入与目标张量 #

使用tf.data.Dataset.from_tensor_slices方法，它会自动将两个张量的对应位置元素配对，生成包含(单样本输入, 单样本目标)元组的数据集：

import tensorflow as tf

# 你已生成的两个张量
dataset_train_X = tf.constant(Train_data.drop('target', axis=1))
dataset_train_target = tf.constant(Train_data.target)

# 组合成样本对数据集
train_dataset = tf.data.Dataset.from_tensor_slices((dataset_train_X, dataset_train_target))

2. 添加批次处理（可选但推荐） #

和MNIST数据集一样，训练时通常按批次处理数据，你可以用batch方法指定批次大小：

# 设置批次大小为32，可根据你的模型需求调整
train_dataset = train_dataset.batch(32)

3. 转换为PrefetchDataset #

最后添加prefetch操作，让数据集在训练时提前加载下一批数据，提升训练效率：

train_dataset = train_dataset.prefetch(tf.data.AUTOTUNE)

验证数据集结构 #

你可以用以下代码确认数据集格式是否符合预期：

# 取出第一个批次查看形状
for batch_input, batch_target in train_dataset.take(1):
    print("输入批次形状:", batch_input.shape)
    print("目标批次形状:", batch_target.shape)

输出示例：

输入批次形状: (32, 4)
目标批次形状: (32,)

这样得到的数据集结构就和MNIST的训练/测试集完全一致了，每个元素都是(输入张量, 目标张量)的元组，可直接用于神经网络训练。

内容的提问来源于stack exchange，提问作者Amir Baniasadi