如何向Azure Data Factory中的HDInsight Spark活动传递参数？

ADF中Spark活动的Arguments和Spark配置参数，是绑定到该活动指定的**Python脚本文件（*.py）**执行上下文的。你从HDInsight集群页面手动启动的Jupyter Notebook，属于独立的Spark会话，和ADF触发的Spark活动完全没上下文关联，所以根本拿不到这些参数。

1. 在Jupyter Notebook里模拟ADF传参效果 #

要是你只是想在Notebook里测试参数逻辑，直接手动模拟参数注入就行：

• 模拟sys.argv（命令行参数）：

  import sys
  # 模拟ADF Arguments里填的参数，比如"input_path=/data/in output_path=/data/out"
  sys.argv = ["dummy_script.py", "input_path=/data/in", "output_path=/data/out"]
  # 之后正常用sys.argv[1]、sys.argv[2]取参数
  print(sys.argv[1].split("=")[1])
  

• 模拟Spark配置参数：

  from pyspark.sql import SparkSession
  # 重新创建带自定义配置的SparkSession
  spark = SparkSession.builder \
      .appName("TestConfigParams") \
      .config("my.custom.param", "test_value") \
      .getOrCreate()
  # 获取配置值
  print(spark.sparkContext.getConf().get("my.custom.param"))
  

2. 让Notebook代码适配ADF参数传递（转脚本执行） #

如果要让代码既能在ADF中带参数运行，又能在Notebook里测试，建议把Notebook导出为.py脚本：

• 在ADF Spark活动的文件路径里填脚本的存储路径（比如ADLS Gen2的路径）
• 在Arguments里填空格分隔的参数，比如"input=/path/in output=/path/out"
• 脚本里用sys.argv取参数，示例：

  import sys
  from pyspark.sql import SparkSession
  
  def main():
      # 解析ADF传过来的参数
      args = dict(arg.split("=") for arg in sys.argv[1:])
      input_path = args.get("input")
      output_path = args.get("output")
  
      spark = SparkSession.builder.appName("ADFParamJob").getOrCreate()
      df = spark.read.csv(input_path)
      df.write.parquet(output_path)
  
  if __name__ == "__main__":
      main()
  

• 测试时，在Notebook里要么用上面的模拟sys.argv方法，要么直接修改脚本里的参数变量值。

3. 正确用Spark配置传参到脚本 #

如果想用Spark配置传递参数，在ADF Spark活动的Spark配置里加键值对（比如my.config.key=hello_adf），然后在.py脚本里这么获取：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("ADFConfigJob").getOrCreate()
conf_value = spark.sparkContext.getConf().get("my.config.key")
print(conf_value)

这种参数是注入到ADF触发的Spark集群全局配置里的，只有该活动的脚本会话能拿到，Notebook的独立会话读不到。

ADF的参数是在集群启动时注入到执行上下文的，手动开的Notebook是另一个完全独立的会话，没法共享这些参数。要是要验证ADF传参的逻辑，先在Notebook里模拟测试代码，确认没问题再导出成脚本配到ADF里跑。

内容的提问来源于stack exchange，提问作者porter22