如何在Azure Data Factory管道中运行黑盒.exe文件？

方案1：自托管集成运行时（Self-Hosted IR）+ 自定义活动 #

这是最直接的方案，无需修改exe源码，利用自托管IR在本地/VM环境直接调用黑盒exe。

操作步骤： #

1. 部署自托管集成运行时

   • 在Azure Data Factory的「管理」面板中创建自托管IR，按照指引将IR代理安装到存放exe的机器（本地物理机/虚拟机或Azure VM均可）。
   • 将目标exe及其所有依赖文件（如运行库、配置文件）放置到该机器的固定路径下，确保IR代理有执行权限。

2. 配置自定义活动

   • 在ADF管道中添加「自定义活动」，选择刚创建的自托管IR作为运行环境。
   • 在活动的「命令」字段中填写exe的执行命令，例如：

     C:\Tools\your_program.exe "D:\Input\data.json" "D:\Output\result.json"
     

     若需动态传递参数（如输入文件路径），可使用ADF参数化能力，比如：

     @concat('C:\Tools\your_program.exe ', pipeline().parameters.inputPath, ' ', pipeline().parameters.outputPath)
     

3. 衔接输入输出流程

   • 若exe需要读取JSON输入，先用ADF的「复制活动」将云端存储（如Blob Storage）的JSON文件同步到自托管IR机器的指定路径。
   • exe执行完成后，再用「复制活动」将生成的输出文件（若有）上传回云端存储，供后续管道步骤使用。

方案2：Azure Functions 调用exe + ADF Function活动 #

通过Azure Functions封装exe调用逻辑，再在ADF中调用该函数实现黑盒exe的执行。

操作步骤： #

1. 创建并配置Azure Function

   • 创建Windows环境的Azure Function（Consumption/Premium计划均可，Linux计划不支持Windows exe）。
   • 将exe及其依赖文件打包到Function部署包中，或挂载Azure文件共享存储exe文件。
   • 在Function代码中通过进程调用执行exe，以PowerShell Function为例：

     param($Request, $TriggerMetadata)
     $exePath = "D:\home\site\wwwroot\your_program.exe"
     $inputPath = $Request.Query.inputPath
     $outputPath = $Request.Query.outputPath
     Start-Process -FilePath $exePath -ArgumentList "$inputPath $outputPath" -Wait
     

   • 确保Function运行环境已安装exe所需的依赖运行时（如.NET Framework、VC++ Redistributable）。

2. 在ADF中调用Function

   • 在ADF管道中添加「Azure Function活动」，关联创建好的Function资源。
   • 配置活动的输入参数（如JSON文件路径、计算参数），传递给Function以触发exe执行。

注意事项 #

• 权限配置：确保运行环境（自托管IR机器/Function）有读取输入、执行exe、写入输出的权限。
• 依赖检查：提前确认exe所需的系统依赖已在运行环境中安装，避免执行失败。
• 日志排查：启用ADF活动日志和Function日志，便于定位exe运行中的错误。

内容的提问来源于stack exchange，提问作者hybriden