为何Dataprep预览数据正常,导出到BigQuery仅得到1行数据
Dataprep导出至BigQuery仅生成1行数据排查方案
- 核查导出任务配置:确认是否误勾选了
仅导出抽样数据选项,Dataprep预览默认加载全量数据,但部分版本导出配置默认开启抽样,若抽样比例设置极低会仅输出1行结果。 - 核查Recipe生效范围:确认所有Recipe转换步骤均设置为
应用至全量数据集,部分步骤默认仅在预览环境生效,全量运行时仅执行首行转换逻辑。 - 核查BigQuery写入配置:确认导出时写入模式为
截断写入而非追加写入,若此前生成过仅1行的历史表且存在写入冲突,会导致全量数据写入失败,仅残留历史数据。 - 核查数据格式兼容性:排查数据集是否存在特殊字符、字段类型不匹配问题,若仅首行符合BigQuery字段格式要求,其余行会被默认过滤丢弃,仅保留首行数据。
- 核查服务账号权限:确认Dataprep服务账号具备BigQuery目标数据集的
BigQuery Data Editor权限,权限不足时仅能写入表头测试行,无法写入全量数据。 - 核查任务运行日志:在Dataprep任务运行详情页查询错误日志,确认是否存在行级写入报错、数据校验不通过导致全量数据被拦截的情况。
相关参考截图:
- Recipe及正常预览表截图

- BigQuery端生成的结果表截图

内容的提问来源于stack exchange,提问作者Marcio Lazai Junior
相关产品推荐
相关产品推荐

