Dataform(GCP)运行成功但PolicyTag未应用到指定列求助

以下是几个经过验证的排查和解决方向：

• 确认PolicyTag路径完全正确
  检查你使用的PolicyTag资源ID的每一部分：项目ID、区域、分类ID、PolicyTag ID是否与Dataplex中实际的资源匹配。即使是官网示例，也需要替换成你自己项目中存在的有效PolicyTag路径，示例中的路径属于测试项目，无法直接在你的环境中生效。

• 检查Dataform作业的表更新策略
  如果目标表已存在，Dataform默认的更新逻辑可能不会触发列属性的修改。可以在config中添加schema更新选项，强制允许修改列属性：

  config {
    type: "table",
    columns: {
      column1: {
        description: "Some description",
        bigqueryPolicyTags: ["你的PolicyTag完整路径"]
      }
    },
    bigquery: {
      schemaUpdateOptions: ["ALLOW_FIELD_UPDATE"]
    }
  }
  

  或者尝试手动删除现有表后重新运行Dataform作业，确认PolicyTag是否能被正确添加。

• 验证Dataform使用的服务账号权限
  注意：Dataform运行作业时使用的是其关联的服务账号（而非你当前登录的用户账号），需要确保该服务账号拥有以下权限：

  • datacatalog.policyTags.attach（用于关联PolicyTag到列）
  • bigquery.tables.update（用于修改表的schema属性）
    即使你自己的账号有BigQuery Admin和DataplexAdmin，服务账号权限不足也会导致PolicyTag无法应用。

• 排查BigQuery表的缓存或显示问题
  有时候BigQuery控制台的表架构显示可能存在缓存，建议：

  • 手动刷新BigQuery控制台的表详情页面
  • 使用bq命令行工具查询表的schema，确认PolicyTag是否已存在：

    bq show --schema --format=prettyjson 你的项目ID.数据集ID.表名
    

    查看输出中对应列的policyTags字段是否包含目标ID。

• 升级Dataform到最新版本
  部分旧版本的Dataform存在PolicyTag应用的bug，升级到最新版本可以解决已知的兼容性问题。

内容的提问来源于stack exchange，提问作者Marcelo Mizokami