Dataflow重复处理GCS文件未写入BQ问题排查求助

验证GCS重复通知的可能性 #

• 检查PubSub主题的消息历史，通过消息属性中的objectId和generation字段，确认是否同一文件触发了两条独立通知。
• 核对GCS通知配置，排查是否存在重复配置，或因GCS未收到PubSub的ACK导致的通知重发。
• 若确认是重复通知，需进一步排查首次处理的BQ写入细节：日志显示“执行至写入BQ步骤”不代表数据成功写入，可能是DoFn日志已输出，但BQ写入的提交阶段出现隐性问题。

验证WriteToBigQuery静默失败的可能性 #

• 查看Dataflow作业的监控指标，重点关注bigquery/write_requests_errors、bigquery/write_rows_errors，这类指标可能记录日志未显示的隐性错误。
• 检查BigQuery的作业历史，搜索对应时间段的写入任务，排查是否存在加载失败但未触发明确报错的情况（比如数据格式兼容问题导致BQ未写入数据，但返回“成功”标识）。
• 核对WriteToBigQuery的配置：
  • 确认create_disposition和write_disposition设置是否符合预期，比如表结构与数据字段不匹配、主键冲突导致数据被丢弃但无报错。
  • 若使用流式模式，可开启with_output_failed_rows()将失败数据输出到GCS，直接排查未写入的数据内容和原因。

其他排查方向 #

• 检查管道的窗口与水印配置：若使用窗口，水印未正常推进可能导致Beam认为数据未处理完成，触发重试。查看作业的水印指标，确认是否有窗口长期未关闭。
• 确认PubSub消息ACK机制：Dataflow仅在整个处理流程（含BQ写入）完成后才会ACK消息。若BQ写入未真正完成，PubSub会重新投递消息，导致文件重复处理。需排查ACK未发送的原因，比如步骤卡住、WriteToBigCommit操作超时。
• 验证文件与数据本身：检查文件是否为空，或DoFn转换后无数据输出。可在DoFn后添加统计步骤，日志打印处理后的记录数，确认是否有数据流入WriteToBigQuery。

内容的提问来源于stack exchange，提问作者Pav3k