如何在TFX的CSVExampleGen组件中读取以|为分隔符的CSV数据？

要指定竖线（|）作为CSV文件的分隔符，你需要通过CsvExampleGen的custom_config参数，结合csv_pb2.CsvFormatOptions来配置，而非在example_gen_pb2.Input中设置。具体实现步骤如下：

1. 导入对应的proto模块：

from tfx.proto import csv_pb2

2. 创建CSV格式配置实例，明确指定分隔符为竖线：

csv_format_options = csv_pb2.CsvFormatOptions(delimiter='|')

3. 将配置传入CsvExampleGen的custom_config参数：

from tfx.components import CsvExampleGen

example_gen = CsvExampleGen(
    input_base=data_path,
    custom_config={
        'csv_format_options': csv_format_options
    }
)

补充说明：example_gen_pb2.Input仅用于定义输入数据的路径、分片规则等基础输入信息，不包含CSV读取的格式配置项。CSV的读取规则（如分隔符、是否包含表头）均需通过csv_pb2.CsvFormatOptions定义，再通过custom_config传递给CsvExampleGen组件生效。

内容的提问来源于stack exchange，提问作者Hunting_the_Hint