TensorFlow Dataset保存加载后自定义分隔符+++$+++丢失如何解决

问题原因 #

TextLineDataset本身仅负责逐行读取文本内容，不会主动删除字符串中的任何字符，你遇到的分隔符消失问题优先排查两个前置问题：

1. 原始txt文件编码异常，或者写入txt时就已经丢失了分隔符
2. 你在save数据集之前执行的预处理步骤误替换/删除了分隔符

你可以先执行以下代码验证读取原始txt的内容是否正常：

from tensorflow.data import TextLineDataset
test_ds = TextLineDataset('path_to_file.txt', encoding='utf-8')
for line in test_ds.take(3):
    print(line.numpy().decode('utf-8'))

如果这一步输出的内容已经没有分隔符，说明问题出在文件存储环节，和TensorFlow的数据集操作无关。

自定义分隔符解析方案 #

TensorFlow没有内置全局自定义分隔符识别的配置，但可以通过tf.data.Dataset的map算子自定义行解析逻辑，完美适配你的自定义分隔符场景，代码示例如下：

import tensorflow as tf
from tensorflow.data.experimental import load

# 加载已保存的TF格式数据集
loaded_ds = load('path_tf_dataset')

def parse_line(line):
    # 可选：过滤/保留以#开头的注释行
    if tf.strings.regex_full_match(line, r'^#.*'):
        return line
    # 按自定义分隔符+++$+++拆分单行内容
    fields = tf.strings.split(line, sep='+++$+++')
    # 这里可以补充字段类型转换逻辑，比如转数值、补默认值等
    return fields

# 应用解析逻辑到全量数据集
parsed_ds = loaded_ds.map(parse_line, num_parallel_calls=tf.data.AUTOTUNE)

# 测试解析结果
for item in parsed_ds.take(2):
    print(item.numpy())

优化建议 #

如果你的数据量较大，建议完成解析逻辑后再执行save操作，后续加载时可直接拿到拆分好的字段，不需要重复执行解析逻辑，能提升数据加载效率：

# 解析后再保存
tfsaved = TextLineDataset('path_to_file.txt').map(parse_line)
save(tfsaved, 'path_parsed_tf_dataset')

内容的提问来源于stack exchange，提问作者OK 400