GCP Dataflow自动调优中Pub/Sub场景下的backlog定义咨询

当你的Dataflow流水线从Pub/Sub读取数据时，自动扩缩容依赖的backlog不是单独指代某一个指标，而是基于两个Pub/Sub订阅维度的原始数据计算出的待处理数据预估总处理时长，两个核心计算输入如下：

• 最旧未确认消息的存留时长：指当前订阅中最早到达、还没有被Dataflow处理并返回确认回执的消息的存放时间，该指标优先级更高，一旦超过你配置的流水线延迟阈值，会优先触发扩容逻辑，避免消息超期。
• 未确认消息的总数据量：指订阅中所有已发送给消费者、还未收到确认回执的消息的总字节数，Dataflow会结合当前流水线的实际吞吐量，计算处理完这些积压数据需要的总时长，和阈值对比判断是否需要扩缩容。

补充说明：你在GCP控制台看到的Pub/Sub订阅维度的「未确认消息数」是辅助参考指标，不会直接作为backlog的计算依据，相同消息数量下不同消息大小带来的处理压力差异很大，所以Dataflow统一用字节数作为基础计算单位。

内容的提问来源于stack exchange，提问作者lookout