如何创建TensorFlow可识别的文本文件,解决text_dataset_from_directory报错
错误原因
tf.keras.preprocessing.text_dataset_from_directory 默认要求每个独立.txt文件对应一条训练样本,如果你将全量正样本写入单个pos.txt、全量负样本写入单个neg.txt,不符合该API的设计预期,就会出现先识别到2个分类文件、后续解析抛出无有效文本文件的异常。
解决方案
你不需要更换文本文件生成方法,根据你的使用场景二选一调整即可:
场景1:继续使用text_dataset_from_directory加载
调整文件存储逻辑,将每条样本单独存为一个独立的.txt文件:
- 正样本全部放到
data_tf/train/1/目录下,每条样本对应一个txt文件,命名格式可参考pos_0.txt、pos_1.txt - 负样本全部放到
data_tf/train/0/目录下,同样每条样本对应一个独立txt文件 - 生成文件的示例代码:
import os # 处理正样本,假设pos_df的text列存储文本内容 for idx, row in pos_df.iterrows(): save_path = os.path.join('data_tf/train/1/', f'pos_{idx}.txt') with open(save_path, 'w', encoding='utf-8') as f: f.write(row['text']) # 处理负样本逻辑同上 for idx, row in neg_df.iterrows(): save_path = os.path.join('data_tf/train/0/', f'neg_{idx}.txt') with open(save_path, 'w', encoding='utf-8') as f: f.write(row['text'])
- 加载时显式指定文件后缀,避免匹配异常:
train_ds = tf.keras.preprocessing.text_dataset_from_directory( 'data_tf/train', file_extensions=['.txt'] )
场景2:保留单文件存储所有样本的逻辑
直接用tf.data.TextLineDataset加载文本,无需拆分文件:
# 加载正样本,标注标签为1 pos_ds = tf.data.TextLineDataset('data_tf/train/1/pos.txt').map(lambda text: (text, 1)) # 加载负样本,标注标签为0 neg_ds = tf.data.TextLineDataset('data_tf/train/0/neg.txt').map(lambda text: (text, 0)) # 合并正负样本并打乱 train_ds = pos_ds.concatenate(neg_ds).shuffle(buffer_size=10000)
特殊场景排查
如果你本身就是单文件对应一条样本的使用场景,只需做两个小调整即可解决报错:
- 生成文件时指定utf-8编码:
pos_df.to_csv(r'data_tf/train/1/pos.txt', header=None, index=None, sep=' ', mode='a', encoding='utf-8') - 加载时显式添加
file_extensions=['.txt']参数即可
内容的提问来源于stack exchange,提问作者Mxwan
相关产品推荐
相关产品推荐

