Cloud Pub/Sub经Dataflow SQL写入BigQuery的批量处理机制问询

问题1：按规则批量发布到Pub/Sub的消息，Dataflow SQL会整批一次性写入BigQuery还是逐条写入？ #

核心结论：Pub/Sub发布端的批量配置和Dataflow写入BigQuery的批次逻辑完全解耦，两者没有绑定关系。
Dataflow SQL默认使用BigQuery流式写入能力，默认采用自动攒批策略写入，既不会严格匹配你设置的Pub/Sub客户端1000条/1MB/10秒的批次规则，也不会默认逐条写入。
Dataflow侧默认的攒批触发条件为满足以下任意一项：

• 单批次攒够500行数据
• 单批次数据量达到1MB
• 最长攒批等待时间5秒
  如果Pub/Sub推送过来的单批数据刚好满足上述阈值，会直接整批写入BigQuery；否则会和其他批次的Pub/Sub消息合并攒批，直到满足Dataflow的触发条件再写入。你也可以通过修改Dataflow的bigQueryWriteBatchSize、bigQueryWriteBatchLatency等参数自定义写入批次规则。

问题2：批量写入、逐条写入两种方式各有什么优势？ #

批量写入优势 #

• 显著降低BigQuery写入API的调用频次，减少流写配额消耗，避免高吞吐场景下触达配额上限导致写入失败
• 降低整体写入开销，大幅提升吞吐能力，在你当前数千条/秒的业务场景下，批量写入的成本和稳定性都远优于逐条写入
• 减少网络请求量，降低链路波动对写入的影响，整体服务稳定性更高

逐条写入优势 #

• 端到端数据延迟最低，适合对数据可见性要求极高（要求毫秒级延迟）的业务场景
• 单条数据写入的结果可直接感知，不需要处理整批写入失败后的数据拆分、重试逻辑，故障排查和错误处理更简单
• 适合低吞吐业务场景，不会因为攒批等待产生不必要的数据延迟

内容的提问来源于stack exchange，提问作者Tarique