如何用Airflow 2（Google Composer）执行单个无标签Dataform文件？

可以通过invocation_config中的included_paths参数实现，无需依赖标签就能指定执行单个sqlx/js文件。

具体实现代码 #

将原代码中的included_tags替换为included_paths，填入目标文件相对于Dataform仓库根目录的路径即可：

DataformCreateWorkflowInvocationOperator(
    task_id='create_workflow_invocation',
    dag=dag,
    project_id=PROJECT_ID,
    region=REGION,
    repository_id=REPOSITORY_ID,
    workflow_invocation={
        'compilation_result': "{{ task_instance.xcom_pull('create_compilation_result')['name'] }}",
        'invocation_config': {"included_paths": ["models/your_single_file.sqlx"]}
    }
)

路径说明 #

• 若目标文件在Dataform仓库根目录下，直接写文件名，比如["your_file.sqlx"]
• 若文件在子目录中，需填写完整相对路径，比如["src/staging/my_task.sqlx"]

该参数会精准匹配指定路径的文件，忽略其他所有文件，不受标签有无的影响。

内容的提问来源于stack exchange，提问作者Alan Mil