Azure Data Factory pipeline中嵌入C#代码为Activity的方法咨询

ADF 没有提供直接内嵌C#代码执行的原生内置活动，和你已经用过的Script、存储过程活动面向数据存储层计算的定位不同，要在管道中运行C#逻辑，可以根据业务场景选以下3种成熟落地方案：

• 方案1：通过Azure Function活动承载C#逻辑（入门用户首选，实现成本最低）

  1. 先在Azure门户创建Azure Function应用，运行时栈选择对应版本的.NET，将你的C#业务逻辑编写为HTTP触发类型的函数，涉及自定义依赖类库的直接将整个C#项目发布到Function应用即可，无需额外调整代码结构。
  2. 回到ADF编辑界面，从活动列表拖入「Azure Function」活动到管道画布，在设置页关联你创建好的Function应用，填写目标函数名，需要传参的直接将ADF管道参数、系统变量、上游活动输出映射到函数的请求头或请求体。
  3. 活动支持同步、异步两种执行模式，短平快的逻辑用同步模式，长耗时任务选异步模式即可避免管道超时，函数的返回结果可以直接被下游活动引用。
     注意：该方案用消费级计划时按实际执行时长计费，轻量逻辑的运行成本几乎可以忽略，不需要自己维护虚拟机。

• 方案2：通过自定义活动（Custom Activity）运行C#程序（适合重计算、强环境依赖的场景）

  1. 将你的C#代码编译为可执行程序，连同所有依赖文件打包为zip压缩包，上传到ADF关联的Azure Blob存储容器中。
  2. 提前创建好Azure Batch池，选择匹配你C#程序运行要求的Windows Server镜像、配置对应规格的CPU和内存。
  3. 从ADF活动列表拖入「自定义」活动到画布，设置中关联已创建的Batch池，指定压缩包在Blob存储中的路径、程序执行入口命令，比如dotnet YourBusinessLogic.dll --input @pipeline().parameters.sourcePath即可运行。
     注意：该方案可以完全控制运行环境，适合跑大批量数据转换、复杂计算类的C#逻辑，缺点是需要自行维护Batch池配置，运行成本高于Function方案。

• 方案3：通过Azure Databricks活动运行C#代码（适合已对接Databricks的大数据场景）
  如果你当前的ADF管道已经对接Azure Databricks做大数据处理，可以直接将C#逻辑基于.NET for Spark编写为C# Notebook，或者编译为程序集上传到Databricks文件系统，之后拖入ADF的「Databricks Notebook」活动关联对应Notebook即可运行，不需要额外搭建其他计算资源。

避坑提醒：不要尝试通过开启SQL数据库CLR集成的方式把C#代码塞到存储过程/Script活动里跑，这种方式对C#代码的权限、依赖限制极多，后续维护、排错成本极高，不推荐生产环境使用。如果只是简单的字符串处理、格式转换类逻辑，优先用ADF内置的表达式、数据流内置函数实现，不需要额外引入C#代码增加维护成本。

内容的提问来源于stack exchange，提问作者Being Real