AWS Glue PySpark任务中PythonUDFRunner计时日志字段含义咨询

以下是AWS Glue PySpark任务中Python UDFRunner日志里各计时字段的含义（单位均为毫秒）：

• total：执行该Python UDF任务的总耗时，等于boot、init、finish三个阶段耗时之和，与日志中三个数值的累加结果一致。
• boot：启动Python子进程的耗时。Spark执行Python UDF时会创建独立的Python进程处理UDF逻辑，该阶段记录的是进程启动的时间开销。
• init：初始化Python执行环境的耗时，包含加载UDF依赖、初始化业务上下文等准备操作的时间。
• finish：执行UDF核心业务逻辑并返回结果的耗时，是UDF处理数据的主要阶段开销。

内容的提问来源于stack exchange，提问作者mamonu