排查Google Cloud Storage Avro转Cloud Spanner Dataflow管道吞吐量瓶颈

Dataflow 侧优化 #

• 更换Worker类型并调整数量：当前使用的n2-highmem-2 Worker HDD PD固定25GB，IO性能受限，建议切换为带本地SSD的Worker实例（如n2-highmem-2-local-ssd），本地SSD的高IOPS能解决本地缓存不足导致的GCS远程读取瓶颈，提升Avro文件解析效率。同时，结合当前Worker CPU利用率仅18%的情况，可先将Worker数量扩容至20台，观察吞吐量与资源占用变化，逐步找到最优配置。
• 调优批处理核心参数：修改Dataflow模板的启动参数，针对性优化：
  • 增大--batchSize：当前每秒仅200次Spanner写入，说明批次过小，可尝试将批次大小调至1000-5000（需结合Spanner实例的负载情况，避免触发限流），减少RPC调用频次，提升写入效率。
  • 开启自动扩缩容：设置--autoscalingAlgorithm=THROUGHPUT_BASED并调高--maxNumWorkers，让Dataflow根据实际吞吐量自动调整Worker数量，避免资源闲置。
  • 提升Avro读取缓存：增大--avroReaderBufferSize参数，减少GCS请求次数，缓解IO瓶颈。
• 预处理Avro文件：若GCS上的Avro文件过小（如单文件小于64MB），先合并为256MB-1GB的大文件，降低Dataflow的文件读取开销，提升并行处理效率。

Cloud Spanner 侧优化 #

• 切换写入优先级：当前Spanner全优先级CPU利用率75%，高优先级仅8%，可将Dataflow的Spanner写入请求改为高优先级，利用闲置的高优先级CPU资源，直接提升写入吞吐量。
• 排查并缓解限流：查看Spanner监控中的throttled_requests指标，确认是否存在写入限流。若有，可临时提升Spanner处理单元（PU）至6000-8000，或调整Dataflow的--spannerMaxWriteBatchSize参数，避免触发限流阈值。
• 临时禁用二级索引：如果目标表存在大量二级索引，先禁用所有非主键索引，待数据恢复完成后再重建。索引会大幅增加写入IO开销，禁用后能显著提升写入速度。

其他优化动作 #

• 更新Dataflow模板版本：确保使用的gcs_avro_to_cloud_spanner模板为最新版本，新版本通常会修复性能瓶颈，优化Spanner写入逻辑。
• 聚焦关键指标监控：重点跟踪Dataflow的element_count、gcs_read_bytes，以及Spanner的write_latency、cpu_utilization指标，精准定位瓶颈点后再调整配置。

内容的提问来源于stack exchange，提问作者Tobias Fox