pandas列每单元格存numpy数组，转TensorFlow张量报错如何解决

错误原因 #

该错误本质是：df.valu 是dtype为object的Pandas Series，其中每个元素是独立的shape为(75,)的Numpy数组，TensorFlow无法直接将这种存储独立数组对象的序列转换为张量。

可行解决方案 #

方法1：直接拼接为二维数组后转换（最常用） #

先将Series中所有独立的一维数组合并为统一的二维Numpy数组，再转换为TensorFlow张量即可：

import numpy as np
import tensorflow as tf

y = df.valu
# 所有一维数组合并为shape=(样本数, 75)的二维Numpy数组
y_2d = np.array(y.to_list(), dtype=np.float32)
# 转换为张量
y_tensor = tf.convert_to_tensor(y_2d)

方法2：通过生成器构造数据集（适合大数据量场景） #

如果样本量较大，不想一次性在内存中拼接全量二维数组，可以直接通过生成器构造TensorFlow数据集：

def df_generator():
    for _, row in df.iterrows():
        yield row['image_path'], row['valu']

# 构造数据集
dataset = tf.data.Dataset.from_generator(
    df_generator,
    output_signature=(
        tf.TensorSpec(shape=(), dtype=tf.string),
        tf.TensorSpec(shape=(75,), dtype=tf.float32)
    )
)

内容的提问来源于stack exchange，提问作者still refreshing