GCP Batch Dataflow写入BigQuery时随机丢失记录问题求助

兄弟，我之前做Dataflow批处理写BigQuery的时候也踩过类似的坑，给你几个实际能用的排查和解决思路：

• 先把所有错误记录落地，别光看模糊的错误提示
  你现在看到的"stopped"错误太笼统了，赶紧给你的BigQuery写入逻辑加上错误表配置。在Java代码里给BigQueryIO.write()加上.withErrorTable("你的GCP项目ID:数据集名称.错误表名称")，再配上重试策略.withFailedInsertRetryPolicy(InsertRetryPolicy.retryTransientErrors())。这样不管是数据类型不匹配的那条，还是随机丢失的那些记录，都会完整地存在错误表里，连带着详细的错误信息，比日志里的只言片语有用10倍。

• 排查是不是批次重试的锅
  Batch Dataflow是基于批次容错的，如果某条记录触发了永久错误（比如你遇到的数据类型不匹配），默认情况下不会触发重试，但如果你的作业刚好碰到了临时问题（比如BigQuery写入配额耗尽、网络闪断），就会触发批次重试。这时候如果你的处理逻辑不是幂等的，就可能出现记录丢失或者重复的情况。建议给每条记录带上源表的主键作为唯一标识，写入BigQuery的时候用主键做去重，同时在日志里打印这个ID，方便追踪丢失的记录属于哪个批次。

• 调小写入批次的大小试试
  要是你当前的写入批次设置得太大（比如默认的10000条一批），单条记录失败可能会导致整个大批次的处理被中断，进而影响其他正常记录。你可以把BigQueryIO.write()的withBatchSize参数改成1000甚至更小，让每个批次的记录数少一些，这样单条错误的影响范围会小很多，也更容易定位问题。

• 去Dataflow作业日志里挖深层原因
  别只停留在表面的"stopped"提示，去GCP控制台的Dataflow作业详情里，搜那些被标记为"stopped"的记录对应的任务ID，看看具体的错误栈和上下文。我之前碰到过一次，表面上也是记录随机丢失、错误是"stopped"，结果挖日志发现是BigQuery的写入配额被打满了，后续的请求都被拒绝了，但日志里的顶层提示只写了"stopped"。

要是按这些思路排查后还没解决，把错误表里的记录细节或者日志里的完整错误信息贴出来，大伙再帮你盯！

备注：内容来源于stack exchange，提问作者Insecupa