如何从npy文件名列表及对应标签创建TensorFlow Dataset

给定文件路径列表：

x = ['path/to/file1.npy', 'path/to/file2.npy']

以及对应标签列表：

y = [1, 0]

以下是满足约束条件的完整实现方案：

实现步骤 #

1. 构建基础配对Dataset #

先将文件路径与对应标签配对，生成基础的Dataset：

import tensorflow as tf
import numpy as np

# 构建路径与标签的配对Dataset
dataset = tf.data.Dataset.from_tensor_slices((x, y))

2. 定义加载与转换函数 #

实现按需加载NPY文件、对数组进行自定义转换的函数，并用tf.py_function包裹以兼容TensorFlow图模式：

def load_and_transform_npy(file_path, label):
    # 加载NPY文件（numpy操作）
    array = np.load(file_path.numpy().decode('utf-8'))
    # 自定义转换操作（示例：归一化到0-1范围，可替换为任意逻辑）
    transformed_array = array / np.max(array)
    # 转换为TensorFlow张量返回
    return tf.convert_to_tensor(transformed_array, dtype=tf.float32), label

# 将函数映射到Dataset的每个元素
dataset = dataset.map(
    lambda fp, lbl: tf.py_function(
        func=load_and_transform_npy,
        inp=[fp, lbl],
        Tout=[tf.float32, tf.int32]  # 对应输出的张量类型，需根据实际调整
    ),
    num_parallel_calls=tf.data.AUTOTUNE  # 并行加载提升效率
)

3. 优化Dataset性能 #

针对大文件场景，添加预取、批量等操作：

# 设置批量大小（根据内存情况调整）
dataset = dataset.batch(2)
# 预取数据，避免训练时等待加载
dataset = dataset.prefetch(tf.data.AUTOTUNE)

关键说明 #

• 内存高效性：通过tf.data.Dataset的惰性加载机制，仅在需要时才加载单个NPY文件，避免一次性加载全部大文件到内存。
• 多目录兼容：直接使用给定的完整文件路径，无需限制文件存放目录。
• 自定义转换：load_and_transform_npy函数中的转换逻辑可完全自定义，比如图像resize、数据增强、维度调整等。

现有方案的不足 #

• 部分方案仅实现了NPY文件的批量加载，未说明如何将文件与对应标签关联配对，也未给出具体的加载映射函数实现细节。
• 另一类方案仅用占位符代替核心的加载与转换逻辑，没有提供可直接复用的代码示例，无法直接解决问题。

内容的提问来源于stack exchange，提问作者Mario