Google Document AI批量导入与标签自动分配方案咨询

针对Google Document AI自定义分类器数据集的批量PDF导入与自动打标需求，目前v1beta3的importDocuments接口确实不支持导入时直接分配标签，但可以通过以下几种无人工干预的方案实现：

1. 导入后调用API批量打标 #

利用v1beta3的updateDatasetDocuments接口，在文档导入完成后批量更新标签：

• 先调用listDatasetDocuments接口，过滤出状态为Unlabeled的文档ID列表（可通过导入时间或批次标识精准定位刚导入的文档）
• 构造包含文档ID与对应标签的请求体，单请求最多可处理500个文档的标签更新
• 示例请求结构（JSON）：

{
  "documentUpdates": [
    {
      "documentId": "doc_xxxxxx",
      "labels": [{"displayName": "发票"}, {"displayName": "2024年第一季度"}]
    },
    {
      "documentId": "doc_yyyyyy",
      "labels": [{"displayName": "收据"}]
    }
  ]
}

可以用Python/Shell脚本将导入、查询、打标逻辑串联，实现全自动化流程。

2. 基于Cloud Storage目录结构自动映射标签 #

如果你的PDF已按标签分类存储在Cloud Storage的子目录中（如gs://你的存储桶/发票/、gs://你的存储桶/收据/），可以通过脚本实现：

• 遍历Cloud Storage目录，提取每个文件的存储路径与所属目录名（即标签）
• 先调用importDocuments批量导入所有文件
• 根据路径与目录的映射关系，自动生成打标请求并调用updateDatasetDocuments完成打标
  这种方式让标签与文件存储结构绑定，无需手动维护标签映射表。

3. 使用gcloud CLI简化批量操作 #

借助Google Cloud CLI的document-ai组件，可通过命令行实现自动化：

• 用gcloud document-ai datasets documents import完成批量导入
• 编写Shell脚本，先用gcloud document-ai datasets documents list导出文档列表，再结合预定义的标签映射，循环执行gcloud document-ai datasets documents update完成打标
  示例单文档打标命令：

gcloud document-ai datasets documents update 文档ID \
  --dataset=数据集ID \
  --location=区域 \
  --labels=displayName=发票

若需批量处理，可将文档ID与标签的映射存为CSV，通过循环遍历执行命令。

4. 预生成标签映射文件实现自动化 #

提前准备包含文档GCS路径与对应标签的JSONL文件（格式如下），脚本读取该文件后先完成导入，再按映射关系打标：

{"gcs_uri": "gs://你的存储桶/发票-001.pdf", "labels": ["发票"]}
{"gcs_uri": "gs://你的存储桶/收据-001.pdf", "labels": ["收据"]}

注意事项 #

• 确保所需标签已在数据集的标签集中存在，可提前用createDatasetLabels接口批量创建标签
• 批量操作时需注意API配额限制，建议加入重试机制避免限流导致失败

内容的提问来源于stack exchange，提问作者Michael Maramzin