如何在运行的Dataproc作业中获取自身的作业ID？

嘿，这个问题问得很实用！其实Dataproc在执行你的PySpark作业时，会自动把当前作业的ID注入到作业进程的环境变量里，你完全可以直接在./some_job.py脚本里读取这个变量，不用做额外复杂的操作。

具体来说，Dataproc自动设置的环境变量名叫DATAPROC_JOB_ID，你可以用Python的os模块轻松获取它。给你写个简单的示例：

import os
from pyspark.sql import SparkSession

if __name__ == "__main__":
    spark = SparkSession.builder.appName("FetchJobID").getOrCreate()
    
    # 读取Dataproc注入的作业ID
    job_id = os.environ.get("DATAPROC_JOB_ID")
    
    if job_id:
        print(f"当前运行的Dataproc作业ID是：{job_id}")
        # 你可以把这个ID用于日志标记、状态追踪等场景
    else:
        print("未检测到Dataproc作业ID（可能是在本地环境运行）")
    
    spark.stop()

不管你是直接用gcloud dataproc jobs submit pyspark提交单作业，还是通过工作流模板启动的作业，这个环境变量都会被自动设置，两种场景都适用。

需要注意的是，如果你的脚本在本地调试运行（不是提交到Dataproc集群），这个环境变量就不存在，所以加个判断可以避免抛出异常。

备注：内容来源于stack exchange，提问作者egordoe