TensorFlow多文件导入问题：input_fn处理多CSV文件报错

这个问题我太熟悉了——你遇到的核心问题是：全局的.skip(1)只会跳过整个数据集的第一行（也就是第一个文件的表头），但后面每个文件的表头都会被当成正常数据读入，这自然会引发解析错误。要正确处理多文件的表头，必须针对每个文件单独跳过第一行，而不是在合并后的数据集上做一次跳过操作。

下面给你两种可行的解决方案，你可以根据自己的代码风格选择：

方案一：用make_csv_dataset结合interleave处理单个文件 #

这种方法适合已经在使用tf.data.experimental.make_csv_dataset的场景，核心是给每个文件单独设置跳过表头的逻辑：

def input_fn(filenames):
    # 把文件名列表转换成可迭代的文件数据集
    file_dataset = tf.data.Dataset.from_tensor_slices(filenames)
    
    # 定义单个文件的处理函数：读取时跳过表头
    def process_single_file(file_path):
        # 设置header=False，因为我们要手动跳过第一行
        csv_dataset = tf.data.experimental.make_csv_dataset(
            file_path,
            batch_size=32,  # 你的批次大小
            header=False,
            # 其他参数比如column_names、label_name等根据你的需求补充
        )
        # 跳过当前文件的第一行（表头）
        return csv_dataset.skip(1)
    
    # 交错并行处理多个文件，提升效率
    final_dataset = file_dataset.interleave(
        process_single_file,
        num_parallel_calls=tf.data.AUTOTUNE
    )
    
    # 这里可以添加你的后续预处理逻辑，比如shuffle、repeat等
    # final_dataset = final_dataset.shuffle(1000).repeat()
    
    return final_dataset

方案二：用TextLineDataset手动解析CSV #

如果你需要更精细的控制，可以直接读取文本行，针对每个文件跳过第一行后再解析：

def input_fn(filenames):
    file_dataset = tf.data.Dataset.from_tensor_slices(filenames)
    
    def process_single_file(file_path):
        # 读取当前文件的所有行，直接跳过第一行（表头）
        line_dataset = tf.data.TextLineDataset(file_path).skip(1)
        
        # 定义CSV行的解析函数，根据你的列类型设置默认值
        def parse_csv_line(line):
            # 示例：假设你的CSV有3列，类型分别是浮点、整数、字符串
            record_defaults = [tf.float32, tf.int32, tf.string]
            return tf.io.decode_csv(line, record_defaults=record_defaults)
        
        # 映射解析函数到每一行
        return line_dataset.map(parse_csv_line)
    
    # 并行处理所有文件，合并成最终数据集
    final_dataset = file_dataset.interleave(
        process_single_file,
        num_parallel_calls=tf.data.AUTOTUNE
    ).batch(32)  # 按需设置批次大小
    
    return final_dataset

关键原理说明 #

为什么原来的写法会失效？因为当你直接把多文件传给make_csv_dataset然后调用.skip(1)时，TensorFlow会把所有文件的内容拼接成一个大数据集，然后只跳过第一行——也就是第一个文件的表头，后面每个文件的表头都会被当成数据行解析，这就会导致数据类型不匹配或者格式错误。

而用interleave的方式，会对每个文件单独执行skip(1)操作，确保每个文件的表头都被正确跳过，完美解决多文件导入的问题。

内容的提问来源于stack exchange，提问作者user2725109