如何阻止Amazon SageMaker将.txt文件按行拆分用于实体标注任务？

要让每个.txt文件作为单个标注实体而非按行拆分，你可以通过以下两种方式解决：

方法一：预处理数据为JSON Lines格式 #

SageMaker GroundTruth默认按行解析文本，你需要把每个文件的完整内容封装为单条JSON记录：

• 遍历所有目标.txt文件，读取每个文件的全部内容
• 为每个文件生成一条JSON数据，示例格式：{"file_content": "完整文本内容", "file_id": "sample.txt"}
• 将所有JSON记录存入一个.jsonl文件（每条记录占一行），上传至S3
• 创建标注任务时选择该.jsonl文件作为输入，此时每条记录对应一个完整的txt文件，标注人员将看到整个文件的内容进行标注

方法二：使用自定义标注模板加载完整文件 #

如果不想预处理数据，可通过自定义任务逻辑直接加载完整文件：

• 创建标注任务时选择「Custom」类型
• 编写自定义UI模板，通过任务输入中的S3文件路径，直接加载完整的txt文件内容
• 配置输入数据为txt文件的S3路径列表，让模板读取并展示整个文件的内容

关键提示 #

• 确保单个txt文件大小在GroundTruth的合理范围内，避免过大导致加载延迟或失败
• 若用JSON Lines方式，需转义文本中的换行符，避免破坏JSON格式

内容的提问来源于stack exchange，提问作者dummy_variable