基于图像路径列表构建TensorFlow数据集时遇类型转换错误求助

尝试基于包含图像路径的CSV文件构建TensorFlow数据集时，反复触发相同错误，操作流程如下：

1. 加载CSV到Pandas DataFrame：

df = pd.read_csv('myfile.csv')

CSV内容示例：

filename,mynumber
/path/to/image1.png,100
/path/to/image2.png,200
/path/to/image2.png,300
[...]

2. 自定义函数加载图像并添加为DataFrame新列：

def load_image(file_name):
  raw = tf.io.read_file(file_name)
  tensor = tf.io.decode_image(raw)
  tensor = tf.cast(tensor, tf.float32)
  return tensor

df['bytes'] = df['filename'].apply(lambda f: load_image(f))

3. 拆分特征与标签：

X = df['bytes']
Y = df['mynumber']

4. 定义Sequential模型：

model = tf.keras.Sequential([
    tf.keras.layers.Rescaling(1./255,input_shape=(1264, 1984, 1)),
    tf.keras.layers.Dense(1, activation=tf.nn.softmax)
])

5. 编译后调用fit训练：

model.fit(X, Y, epochs=5, batch_size=12, verbose=1)

执行后触发错误：

ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type tensorflow.python.framework.ops.EagerTensor).

核心问题 #

你将EagerTensor对象直接存储在Pandas DataFrame列中，当model.fit尝试把X转换为NumPy数组再转Tensor时，数组内的元素是EagerTensor对象，无法完成正常转换，这就是报错的根源。同时，这种提前加载所有图像到DataFrame的方式效率极低，会占用大量内存。

修复步骤 #

推荐使用TensorFlow原生的tf.data API处理数据流，替代Pandas中转的方式：

1. 从CSV直接构建TensorFlow数据集

   dataset = tf.data.experimental.make_csv_dataset(
       'myfile.csv',
       batch_size=12,
       label_name='mynumber',
       num_epochs=5,
       ignore_errors=True
   )
   

2. 定义图像加载与预处理函数
   显式指定通道数避免维度不确定问题，同时完成归一化：

   def process_data(filename, label):
       raw = tf.io.read_file(filename)
       # 针对PNG图像指定单通道，若为JPG则用decode_jpeg
       tensor = tf.io.decode_png(raw, channels=1)
       tensor = tf.cast(tensor, tf.float32)
       # 确保图像尺寸与模型输入一致
       tensor = tf.image.resize(tensor, (1264, 1984))
       # 直接完成归一化，替代Rescaling层
       tensor = tensor / 255.0
       return tensor, label
   

3. 将处理函数映射到数据集

   dataset = dataset.map(process_data)
   

4. 调整模型并训练
   根据任务类型调整输出层：
   • 若为回归任务（预测数值）：

     model = tf.keras.Sequential([
         tf.keras.layers.Input(shape=(1264, 1984, 1)),
         tf.keras.layers.Dense(1)  # 回归任务无需激活函数
     ])
     model.compile(optimizer='adam', loss='mse', metrics=['mae'])
     

   • 若为分类任务，需匹配类别数量调整输出层：

     # 假设为3分类任务
     model = tf.keras.Sequential([
         tf.keras.layers.Input(shape=(1264, 1984, 1)),
         tf.keras.layers.Dense(3, activation='softmax')
     ])
     model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
     

   最后启动训练：

   model.fit(dataset, epochs=5, verbose=1)
   

额外注意事项 #

• 避免用Pandas apply加载TensorFlow张量到DataFrame，tf.data API支持并行加载、预取等优化，是TensorFlow推荐的数据流处理方式。
• decode_image返回的张量通道数可能不明确，建议用decode_png/decode_jpeg并指定channels参数，防止后续维度不匹配。
• 输出层激活函数需与任务类型匹配：回归任务无需激活函数，二分类用sigmoid，多分类用softmax（神经元数量等于类别数）。

内容的提问来源于stack exchange，提问作者Luca Sagoleo