如何通过Python获取Dataflow作业特定阶段的墙钟时间？

以下是几种可行的方式，帮你拿到目标阶段的墙钟时间：

• 直接通过Dataflow控制台查看
  打开Dataflow作业的详情页面，切换到「阶段」标签页。每个阶段条目里会显示「启动时间」和「完成时间」（如果阶段已结束），用完成时间减去启动时间就能得到该阶段的墙钟时长。如果阶段还在运行，就用当前时间减去启动时间计算已运行的墙钟时间。

• 调用projects.jobs.get接口替代getMetrics
projects.jobs.getMetrics确实不返回阶段时间信息，但projects.jobs.get接口的响应里包含作业的完整执行详情。你可以从返回的job.executionInfo.stages数组中，找到对应阶段的startTime和endTime字段（时间戳格式），自行计算两者的差值得到墙钟时间。如果需要定位特定阶段，可以通过阶段的id或name字段匹配。

• 通过Cloud Logging提取阶段时间戳
  Dataflow在阶段启动和完成时会自动生成日志。你可以在Cloud Logging中筛选包含关键词（比如Starting stage、Completed stage）的日志，同时指定目标作业的ID，找到对应阶段的启动和完成日志条目，提取它们的时间戳后计算差值。

注意事项 #

• 如果阶段处于运行中，只会有startTime，没有endTime，此时墙钟时长为当前时间与startTime的差值。
• 若阶段存在重试情况，注意区分不同尝试的时间戳，避免计算错误。

内容的提问来源于stack exchange，提问作者Babbi