BigQuery传输失败后如何访问errors[]集合及对应GCS文件?
解决BigQuery传输任务错误日志与GCS文件访问问题
获取传输任务的详细错误日志
你之前用bq show -j命令未获取到errors集合,是因为该命令针对普通BigQuery查询作业,而传输任务需使用专用参数:
- 在Cloud Shell中执行:
bq show --transfer --format=prettyjson 306617459295:bqts_65e10910-14223bc9779a
返回的JSON结果里,查找errorStatus或errors字段,即可获取具体错误详情(比如JSON文件中出错的行号、字段格式问题等)。
访问目标GCS文件的方法
方法1:使用gsutil命令(推荐)
直接在Cloud Shell中执行以下命令查看或下载文件:
- 查看文件内容:
gsutil cat gs://balbal/asdaf-2413-b40a-582429aeca8c/65ddb1c3-qwertz-24058881afd4/whatever-2_20240302010612.json - 下载文件到本地:
gsutil cp gs://balbal/asdaf-2413-b40a-582429aeca8c/65ddb1c3-qwertz-24058881afd4/whatever-2_20240302010612.json ./
方法2:通过Cloud Storage控制台访问
- 打开Cloud Storage控制台,定位到对应bucket
balbal - 逐层进入文件夹路径
asdaf-2413-b40a-582429aeca8c/65ddb1c3-qwertz-24058881afd4/ - 找到目标文件后,点击预览直接查看内容,或点击下载保存到本地
权限问题处理
若出现访问拒绝提示:
- 确认当前账号拥有
storage.objects.get权限(可通过添加Storage Object Viewer角色实现) - 若传输任务由服务账号执行,需确认该服务账号对目标GCS文件有访问权限;若自身账号无权限,联系bucket管理员添加对应权限
内容的提问来源于stack exchange,提问作者Sándor Volenszki
相关产品推荐
相关产品推荐

