使用Astro-CLI运行Airflow时test.yaml文件找不到的问题排查

Astro CLI运行Airflow时，仅会自动挂载项目下的dags、include、plugins目录到Airflow容器的对应路径中，你放在项目根目录的test.yaml并没有被挂载到容器内，因此BashOperator执行命令时找不到该文件。

方法1：移动文件到include目录 #

将test.yaml移动到项目的include目录下，Astro CLI会自动把这个目录挂载到容器的/usr/local/airflow/include路径。修改命令中的文件路径：

cmd_dataprep = "az ml job create -f include/test.yaml --resource-group DefaultResourceGroup-EUS2 --workspace-name test-airflow"

或者使用绝对路径：

cmd_dataprep = "az ml job create -f /usr/local/airflow/include/test.yaml --resource-group DefaultResourceGroup-EUS2 --workspace-name test-airflow"

方法2：通过Dockerfile复制文件到容器 #

如果不想移动文件，可以在项目根目录的Dockerfile中添加复制指令，把test.yaml复制到容器内Airflow可访问的路径：

COPY test.yaml /usr/local/airflow/test.yaml

然后修改命令中的路径为：

cmd_dataprep = "az ml job create -f /usr/local/airflow/test.yaml --resource-group DefaultResourceGroup-EUS2 --workspace-name test-airflow"

修改后需要重新构建Astro镜像：astro dev restart

内容的提问来源于stack exchange，提问作者Prateek Singh