解决TensorFlow Dataset映射NumPy/SciPy特征函数时的符号张量转换错误

你碰到这个报错的核心原因是：tf.data.Dataset.map()默认在图执行模式下运行，这时候传入的张量是符号化的（还没有实际数值），没法直接转换成NumPy数组去调用SciPy和NumPy的函数——而你的特征函数刚好依赖这些库的操作。

最简单的解决办法是用TensorFlow提供的tf.py_function（或者tf.numpy_function）把你的特征计算逻辑包装起来，让TensorFlow知道要在eager执行上下文里处理这些Python/NumPy/SciPy代码，具体步骤如下：

步骤1：包装特征计算逻辑 #

先写一个专门的函数，负责把Tensor转换成NumPy数组，执行你的特征计算，再把结果转回TensorFlow张量：

def compute_features(x, y):
    # 将符号张量转换为NumPy数组
    x_np = x.numpy()
    # 调用你的特征函数计算
    feat_values = np.array([feature_map[ft](x_np, sf=1000, axis=0) for ft in features])
    # 转回TensorFlow张量，保持和原数据的兼容性
    return tf.convert_to_tensor(feat_values), y

步骤2：用tf.py_function包装后映射到数据集 #

在调用map的时候，用tf.py_function把上面的函数包装起来，同时指定输出的张量类型（要和你的特征、标签类型匹配）：

ds = ds.map(lambda x, y: tf.py_function(
    func=compute_features,
    inp=[x, y],
    Tout=[tf.float32, tf.int32]  # 这里要对应：特征是float32，标签是int32
))

完整可运行代码 #

把所有部分整合起来，你可以直接运行测试：

import numpy as np
import scipy as sc
import tensorflow as tf

def feat1_func(x, sf, axis):
    x = np.asarray(x)
    feat1_value = np.apply_along_axis(
        lambda vals: sc.integrate.trapezoid(abs(vals), dx=1 / sf), axis=axis, arr=x
    )
    return feat1_value

features = ['feat1']
feature_map = {'feat1': feat1_func}

x = np.random.rand(100, 5)
y = np.random.randint(low=0, high=2, size=100)

sequence_length = 10
sequence_stride = 3

ds = tf.keras.preprocessing.timeseries_dataset_from_array(
    data=x,
    targets=y,
    sequence_length=sequence_length,
    sequence_stride=sequence_stride,
    batch_size=None,
    shuffle=False,
)

# 包装后的特征计算函数
def compute_features(x, y):
    x_np = x.numpy()
    feat_values = np.array([feature_map[ft](x_np, sf=1000, axis=0) for ft in features])
    return tf.convert_to_tensor(feat_values), y

# 映射到数据集
ds = ds.map(lambda x, y: tf.py_function(
    func=compute_features,
    inp=[x, y],
    Tout=[tf.float32, tf.int32]
))

# 验证输出
for feat, label in ds.take(1):
    print("提取的特征值:", feat.numpy())
    print("对应标签:", label.numpy())

额外注意事项 #

• 一定要确保Tout里的类型和你实际返回的特征、标签类型一致，比如如果标签是int64类型，就要改成tf.int64。
• 如果你的特征函数返回多维数组，tf.convert_to_tensor会自动处理形状，但如果有特殊形状要求，可以手动指定。
• 这种方法因为涉及Python和TensorFlow的上下文切换，性能会比纯TensorFlow操作稍慢，但对于绝大多数特征提取场景来说完全够用。

备注：内容来源于stack exchange，提问作者paquique