tf.io.decode_raw返回张量转字节及TFRecord map回调无numpy问题

核心报错原因 #

tf.data.Dataset.map默认会将传入的回调函数追踪为静态计算图，此时函数接收到的是无实际数值的符号化张量——这类张量没有.numpy()方法，也不会在图构建阶段就执行Python级别的取值逻辑。
你观察到的“直接迭代、调as_numpy_list的时候可以正常拿值”，是因为这些场景下管线处于eager执行模式，拿到的是可直接调用.numpy()的动态张量，和map的静态图执行机制有本质区别。
另外提一个你代码里的笔误：就算拿到了eager张量，.numpy是方法本身，需要加括号调用为.numpy()才能得到实际的数值内容，直接赋值给变量会拿到方法对象而不是数据。

匹配你需求的正确实现方案 #

你的核心需求是将原始TFRecord里的二进制字符串，传入纯Python实现的自定义解析逻辑（creator.FromString、midi_encoder.encode），这类需要和Python原生对象交互的逻辑，不能直接写在map的回调里跑静态图，需要用TensorFlow官方提供的tf.py_function将Python逻辑包装为可嵌入计算图的算子：

1. 先去掉冗余的tf.io.decode_raw调用：你存进TFRecord的是可被FromString直接解析的完整二进制字符串，提前decode_raw会把字节流拆成离散的uint8值，破坏原始二进制结构，反而会导致解析失败。
2. 将所有需要拿真实字节数据、跑Python解析逻辑的代码，封装成独立函数，函数内部可以正常对输入的eager张量调用.numpy()获取原始字节。
3. 通过tf.py_function把封装好的Python函数嵌入数据集map管线。

对应的可运行代码：

import numpy as np

def custom_parse_logic(example_proto):
    # 此处传入的是带.numpy()方法的真实eager张量
    raw_binary = example_proto.numpy()
    # 运行你的自定义Python解析逻辑
    parsed_object = creator.FromString(raw_binary)
    encoded_sequence = midi_encoder.encode(parsed_object)
    # py_function要求返回值为numpy数组，不能为Python原生对象
    return np.array(encoded_sequence, dtype=np.int64)

# 构建数据管线
raw_dataset = tf.data.TFRecordDataset(filenames=["main.tfrecord"])
raw_dataset = raw_dataset.map(
    lambda record: tf.py_function(
        func=custom_parse_logic,
        inp=[record],
        Tout=[tf.int64] # 此处需要和你返回的编码结果的张量类型保持一致
    ),
    num_parallel_calls=tf.data.AUTOTUNE # 自动并行加速数据加载
)

注意事项 #

• 不要在未用tf.py_function包装的map回调里直接调用.numpy()，这是TensorFlow静态图模式下的非法操作。
• tf.py_function的返回值必须是numpy数组类型，传入的逻辑不能依赖自定义类对象直接作为返回值，需要转换为基础数值类型的数组。
• 如果后续需要对数据集做持久化保存、跨设备部署，注意tf.py_function包装的逻辑无法被序列化为SavedModel结构，需要提前评估业务场景的部署需求。

内容的提问来源于stack exchange，提问作者Johnny Bonelli