You need to enable JavaScript to run this app. 如何创建TensorFlow可识别的文本文件,解决text_dataset_from_directory报错
优惠活动
大模型
产品
解决方案
定价
更多

如何创建TensorFlow可识别的文本文件,解决text_dataset_from_directory报错

错误原因

tf.keras.preprocessing.text_dataset_from_directory 默认要求每个独立.txt文件对应一条训练样本,如果你将全量正样本写入单个pos.txt、全量负样本写入单个neg.txt,不符合该API的设计预期,就会出现先识别到2个分类文件、后续解析抛出无有效文本文件的异常。

解决方案

你不需要更换文本文件生成方法,根据你的使用场景二选一调整即可:

场景1:继续使用text_dataset_from_directory加载

调整文件存储逻辑,将每条样本单独存为一个独立的.txt文件:

  • 正样本全部放到data_tf/train/1/目录下,每条样本对应一个txt文件,命名格式可参考pos_0.txt、pos_1.txt
  • 负样本全部放到data_tf/train/0/目录下,同样每条样本对应一个独立txt文件
  • 生成文件的示例代码:
import os
# 处理正样本,假设pos_df的text列存储文本内容
for idx, row in pos_df.iterrows():
    save_path = os.path.join('data_tf/train/1/', f'pos_{idx}.txt')
    with open(save_path, 'w', encoding='utf-8') as f:
        f.write(row['text'])
# 处理负样本逻辑同上
for idx, row in neg_df.iterrows():
    save_path = os.path.join('data_tf/train/0/', f'neg_{idx}.txt')
    with open(save_path, 'w', encoding='utf-8') as f:
        f.write(row['text'])
  • 加载时显式指定文件后缀,避免匹配异常:
train_ds = tf.keras.preprocessing.text_dataset_from_directory(
    'data_tf/train',
    file_extensions=['.txt']
)

场景2:保留单文件存储所有样本的逻辑

直接用tf.data.TextLineDataset加载文本,无需拆分文件:

# 加载正样本,标注标签为1
pos_ds = tf.data.TextLineDataset('data_tf/train/1/pos.txt').map(lambda text: (text, 1))
# 加载负样本,标注标签为0
neg_ds = tf.data.TextLineDataset('data_tf/train/0/neg.txt').map(lambda text: (text, 0))
# 合并正负样本并打乱
train_ds = pos_ds.concatenate(neg_ds).shuffle(buffer_size=10000)
特殊场景排查

如果你本身就是单文件对应一条样本的使用场景,只需做两个小调整即可解决报错:

  • 生成文件时指定utf-8编码:pos_df.to_csv(r'data_tf/train/1/pos.txt', header=None, index=None, sep=' ', mode='a', encoding='utf-8')
  • 加载时显式添加file_extensions=['.txt']参数即可

内容的提问来源于stack exchange,提问作者Mxwan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 00:15:11