Azure Data Factory无法触发Databricks中Python Wheel的问题求助

一、先抓核心报错信息 #

• 查看ADF管道的活动运行日志，复制完整错误提示
• 登录Databricks后台，找到对应Job的执行记录，查看stderr/stdout日志，定位是参数传递失败、Wheel无法加载还是权限类问题

二、修正ADF Databricks活动的配置 #

1. 选对活动类型 #

不要直接用「Databricks Python文件」类型填Wheel路径，推荐两种正确方式：

• 调用已验证的Databricks Job：用「Databricks Run Job」活动，直接关联你之前测试通过的Databricks Job（该Job已配置好Wheel路径和参数模板），ADF仅需传递-f对应的文件名参数即可
• Python活动调用Wheel入口：如果用Python活动，需在代码区显式调用Wheel的入口函数，示例代码：

  import sys
  from your_wheel_package import main
  
  # 注入ADF传递的参数
  sys.argv.extend(["-f", "{{pipeline().parameters.fileName}}"])
  main()
  

  同时确保Wheel已安装在集群库中（在Databricks集群的Libraries页面添加dbfs路径的Wheel）

2. 参数传递的正确姿势 #

• 先在ADF管道中定义参数（如fileName），用于接收触发器传递的文件名
• 若用「Run Job」活动：在Parameters区域添加参数，参数名填-f，参数值填@pipeline().parameters.fileName
• 若用Python活动：在Python parameters里直接传入数组格式：["-f", "@pipeline().parameters.fileName"]

三、Blob触发器参数映射检查 #

• 打开触发器配置，确认已正确提取文件名：用@triggerBody().name（Blob触发器的triggerBody()中，文件名对应字段是name而非fileName）
• 确保触发器参数已映射到管道参数：在触发器的「管道参数」区域，把触发器提取的文件名赋值给管道的fileName参数

四、Wheel部署与权限验证 #

• 验证dbfs中Wheel路径有效性：在Databricks Notebook执行dbutils.fs.ls("dbfs:/your/wheel/path/")，确认文件存在
• 集群库安装验证：如果用固定集群运行活动，需在集群Libraries页面添加该Wheel并重启集群
• 权限检查：确认ADF使用的服务主体，在Databricks中拥有访问该dbfs路径的权限

五、代码逻辑二次验证 #

• 确认argparse逻辑无问题，示例：

  import argparse
  
  parser = argparse.ArgumentParser()
  parser.add_argument("-f", "--file", required=True, help="Input file name")
  args = parser.parse_args()
  print(f"Received target file: {args.file}")
  

• 在Databricks手动运行Job，传入-f new-file.txt参数，确认Wheel仍能正常执行，排除自身代码问题

内容的提问来源于stack exchange，提问作者Alex