如何在DataProcPySparkOperator任务的PySpark代码中访问传入参数值

其实很简单，你在Airflow任务里通过arguments传递的['2018-05-07']，本质是作为命令行参数传给你的PySpark脚本的。咱们直接用Python的sys模块就能读取这些参数，具体操作如下：

1. 在PySpark脚本中读取参数 #

打开你的testArg.py，添加以下代码：

import sys
from pyspark.sql import SparkSession

if __name__ == "__main__":
    # 注意：sys.argv的第一个元素是脚本本身的路径，所以传递的参数从索引1开始
    date_param = sys.argv[1]
    print(f"成功接收到Airflow传递的日期参数: {date_param}")

    # 接下来就可以在PySpark逻辑里使用这个参数了
    spark = SparkSession.builder.appName("TestArgJob").getOrCreate()
    # 举个例子：用参数读取对应日期的数据源
    df = spark.read.parquet(f"gs://your-data-bucket/daily_data/{date_param}")
    # ... 这里写你的数据处理逻辑

2. 多参数传递的处理（可选） #

如果之后需要传递多个参数，比如Airflow任务里写arguments=['2018-05-07', 'daily', 'prod']，那可以依次通过sys.argv[1]、sys.argv[2]、sys.argv[3]来获取对应的值。

3. 额外的参数校验建议 #

为了避免因为参数缺失导致脚本报错，最好加上简单的参数校验逻辑：

if __name__ == "__main__":
    # 检查是否传入了足够的参数
    if len(sys.argv) < 2:
        print("错误：请传入日期参数")
        sys.exit(1)
    date_param = sys.argv[1]
    # 后续逻辑...

内容的提问来源于stack exchange，提问作者Shrashti