能否通过Azure Data Factory V2提交部署于AKS的Spark应用作业

完全可以通过Azure Data Factory V2提交你部署在AKS上的Spark作业、运行Spark应用，最终通过ADF实现Spark应用的全链路编排，主流的实现方案有两种：

• 方案一：基于Livy REST接口提交
  先在你的AKS Spark集群内部署Livy服务器（Spark生态开源的REST作业提交服务），之后在ADF V2中使用Web活动调用Livy的作业提交接口即可触发Spark应用，同时可通过Web活动轮询Livy的状态查询接口获取作业运行结果，适配ADF的分支判断、依赖调度逻辑。
• 方案二：基于ADF自定义活动提交
  将你现有的CLI提交逻辑打包到ADF的自定义Batch活动中，在自定义活动的运行环境中预装kubectl和Spark客户端，配置好AKS集群的访问凭据后，直接执行你平时用的spark-submit命令即可，这种方案和你现有提交逻辑完全一致，改造成本极低。

注意事项：

1. 需提前配置ADF的网络访问权限，确保ADF可以正常访问AKS集群的对应服务：如果AKS是私有集群，需要将ADF自托管集成运行时部署在和AKS同一虚拟网络内，或者配置AKS服务的公网访问白名单放行ADF的出口IP。
2. Spark作业依赖的Jar包、配置文件、输入输出数据建议统一存放在Azure存储账号中，作业运行时直接拉取即可，无需每次打包到Spark运行镜像中。

内容的提问来源于stack exchange，提问作者databash