AWS SageMaker Ground Truth未遵循标注任务分配配置问题咨询

问题描述 #

我们通过AWS Comprehend相关文档指引创建了一个Ground Truth标注任务，预先筛选约500份文档，经脚本处理后生成约700个任务，任务配置中明确设置了NumberOfHumanWorkersPerDataObject: 3，即每个任务分配3名人工标注员。

任务显示成功完成后，将生成数据导入数据湖处理时发现：仅约20份文档由3名标注员处理，约30份由2名标注员处理，其余仅由1名标注员处理。已通过AWS API确认任务配置正确，Lambda日志无报错，任务状态显示全部处理成功。

可能的原因分析 #

• 标注员资源与意愿限制：Ground Truth的任务分配依赖标注员的接受意愿和实际可用性。如果某个任务被1名标注员完成后，后续没有其他标注员接受该任务（比如标注员池人数不足、任务优先级低、标注员流失），系统会在等待超时后将任务标记为完成，不会强制等待3名标注员全部参与。
• 任务拆分与动态调整逻辑：500份文档生成700个任务，说明脚本可能对文档做了拆分（如长文档拆分为子任务）。部分子任务可能因内容简单、识别度高，被系统判定为无需多轮标注，自动减少了标注员分配数量——即便配置了全局的3人，部分场景下系统会根据任务复杂度动态调整（需检查是否开启自动标注或智能路由功能）。
• 标注员资格匹配不足：如果任务设置了特定的标注员资格要求（如语言能力、专业技能），符合条件的标注员数量不足时，系统无法找到足够的标注员分配任务，只能用现有可用人员完成，导致实际参与人数少于配置值。
• 共识阈值提前结束任务：部分Ground Truth任务类型支持设置共识阈值，如果先完成的标注员给出一致结果，系统会提前结束任务，无需等待剩余标注员完成。比如配置了“2名标注员结果一致即完成”，当2人结果相同时，第3名标注员的任务会被取消，最终显示只有2人参与。
• 数据统计逻辑错误：需确认数据湖的统计逻辑是否准确——比如是否混淆了子任务与原文档的标注员数量，或统计时遗漏了部分标注记录。可直接在Ground Truth控制台的任务详情中查看单条任务的标注员参与情况，验证统计结果的正确性。

内容的提问来源于stack exchange，提问作者Martin Macak