如何查看BigQuery Data Transfer详细日志？S3转BQ报错排查

获取BigQuery Data Transfer详细错误日志 #

1. 通过BigQuery控制台查看任务详情 #

• 进入BigQuery控制台，左侧导航栏选择「转移」
• 找到对应的S3迁移任务，点击「运行历史记录」
• 选中失败的运行记录，查看「错误详情」面板，这里会展开errors[]集合的具体内容，包含JSON解析失败的具体行、字段格式问题等细节。

2. 使用Cloud Logging筛选日志 #

在Cloud Logging控制台使用以下过滤器，精准定位转移任务的错误日志：

resource.type="bigquery_transfer"
transfer_config.name="projects/[你的项目ID]/locations/[区域]/transferConfigs/[转移配置ID]"
severity>=ERROR

替换占位符后，在日志结果中找到包含errors字段的条目，展开即可查看JSON格式错误的具体原因（如缺少逗号、字段类型不匹配、无效字符等）。

3. 通过bq命令行工具查询 #

运行以下命令查看转移配置的详细错误信息：

bq show --transfer_config --format=prettyjson projects/[你的项目ID]/locations/[区域]/transferConfigs/[转移配置ID]

或查看特定失败运行的详情：

bq show --transfer_run --format=prettyjson projects/[你的项目ID]/locations/[区域]/transferConfigs/[转移配置ID]/runs/[运行ID]

输出内容中的errorStatus和errorMessage字段会提供更具体的报错细节。

解决中转GCS文件的访问问题 #

• 报错中提到的gs://some-file-name是Data Transfer临时创建的中转文件，任务失败后默认会被自动清理，所以你在GCP存储桶中找不到是正常现象。
• 若需要保留临时文件用于排查，修改转移任务配置：在「高级选项」中勾选「保留临时文件」，指定一个你有权限访问的GCS存储桶。重新触发转移后，失败时临时文件会留存，你即可查看文件内容验证JSON格式。

额外排查建议 #

• 让S3桶所有者提供一小段测试用的压缩JSON文件，本地验证格式是否符合BigQuery要求（需为每行一个独立JSON对象，而非JSON数组；字段类型需与目标BQ表结构匹配）。
• 检查转移任务配置：确认已正确指定压缩格式（如GZIP），按需开启「忽略未知字段」选项，避免因字段不匹配导致报错。

内容的提问来源于stack exchange，提问作者malber