Airflow子目录与文件忽略规则最优配置方案求助

问题背景 #

仓库结构如下：

- .airflowignore
- requirements.txt
- scheduler.py
- config/
- dev/
    - engine/
        - dags/
        - src_code/
        - config/
    - common/
        - dags/
        - config/
        - res/
        - something.yaml
    - code_dir/
        - dags/
        - config/
        - code/
        - something_else.yaml

需求是：让Airflow仅扫描dev/engine/dags、dev/common/dags、dev/code_dir/dags这三个目录，忽略dev下所有其他文件和目录。

之前的尝试及问题 #

1. 逐个指定忽略项：虽能生效，但目录结构变动时需手动更新，维护成本高

dev/engine/src_code/
dev/engine/config/

dev/common/config/
dev/common/res/
dev/common/something.yaml

dev/code_dir/config/
dev/code_dir/code/
dev/code_dir/something_else.yaml

2. 否定规则配置未生效：根目录的*会忽略所有文件（包括requirements.txt、scheduler.py等需保留的文件），且未正确处理目录递归匹配逻辑

# ignore all files/sub-dirs from root dir
*

# whitelist engine dir dags
!/dev/engine/dags

# whitelist common dir dags
!/dev/common/dags

# whitelist code_dir dir dags
!/dev/code_dir/dags

最优解决方案 #

使用以下.airflowignore配置，简洁且精准满足需求：

通用匹配版（适用于dev下一级目录均为类似结构的场景）

# 递归忽略dev目录下所有内容
dev/**

# 取消忽略dev下一级目录中的dags目录本身
!dev/*/dags/
# 取消忽略dags目录下的所有文件与子目录
!dev/*/dags/**

精确指定版（避免匹配dev下其他同名dags目录）

# 递归忽略dev目录下所有内容
dev/**

# 单独例外目标dags目录及其内部内容
!dev/engine/dags/
!dev/engine/dags/**
!dev/common/dags/
!dev/common/dags/**
!dev/code_dir/dags/
!dev/code_dir/dags/**

配置说明

• dev/**：递归匹配dev目录下所有文件和子目录，先统一忽略；
• !dev/*/dags/：取消忽略dev下一级任意目录中的dags目录（*匹配engine、common等一级子目录）；
• !dev/*/dags/**：确保dags目录内的所有文件和子目录都能被Airflow扫描到，避免仅例外目录本身但忽略内部内容的问题。

内容的提问来源于stack exchange，提问作者MarshmelloSergie