如何解决Airflow+K8s环境下DBT数据血缘图部署的文件缺失问题？

问题场景 #

项目部署在客户基础设施上，基于Kubernetes+Terraform管理基建，通过Airflow实现作业自动化，所有Airflow与DBT运行均采用KubernetesPodOperator。目标是为客户数据表生成数据血缘图，本地通过以下命令可正常生成并展示DBT文档：

dbt docs generate
dbt docs serve --port 8081

但在客户环境编写的Airflow DAG中，第一个执行dbt docs generate的任务成功后Pod被销毁，第二个执行dbt docs serve的任务在新Pod启动时，找不到前序生成的catalog.json文件，导致服务启动失败。

可行解决方案 #

方案1：将两个命令合并到同一个Pod执行 #

直接把文档生成与服务启动命令放到同一个Pod的脚本中，共享同一个容器的文件系统，避免跨Pod文件丢失问题。

修改后的KubernetesPodOperator配置：

deploy_lineage = KubernetesPodOperator(
    namespace='etl',
    image=f'blotout/dbt-analytics:{TAG_DBT_VERSION}',
    cmds=["/bin/bash"],
    arguments=['-c', 'dbt docs generate && dbt docs serve --port 8081'],
    env_vars=env_var,
    name="deploy_lineage_graph",
    configmaps=['awskey'],
    task_id="deploy_lineage_graph",
    get_logs=True,
    dag=dag,
    is_delete_operator_pod=True,
)

注意：dbt docs serve是长驻进程，Airflow任务会持续处于运行状态直到Pod被停止，需结合Kubernetes Service对外暴露端口，并合理设置Airflow任务超时参数。

方案2：使用Kubernetes共享存储卷挂载 #

创建PersistentVolumeClaim（PVC）作为共享存储，让两个Pod挂载同一存储卷到DBT的target/目录，实现文件跨Pod共享。

1. 提前在etl命名空间下创建名为dbt-docs-pvc的PVC
2. 修改DAG中两个任务的配置，添加存储卷挂载：

sync_data_lineage = KubernetesPodOperator(
    namespace='etl',
    image=f'blotout/dbt-analytics:{TAG_DBT_VERSION}',
    cmds=["/usr/local/bin/dbt"],
    arguments=['docs', 'generate'],
    env_vars=env_var,
    name="sync_data_lineage",
    configmaps=['awskey'],
    task_id="sync_data_lineage",
    get_logs=True,
    dag=dag,
    is_delete_operator_pod=True,
    volumes=[
        {
            'name': 'dbt-docs-storage',
            'persistentVolumeClaim': {
                'claimName': 'dbt-docs-pvc'
            }
        }
    ],
    volume_mounts=[
        {
            'name': 'dbt-docs-storage',
            'mountPath': '/app/target'  # 根据镜像中DBT的实际target路径调整
        }
    ]
)

deploy_lineage_graph = KubernetesPodOperator(
    namespace='etl',
    image=f'blotout/dbt-analytics:{TAG_DBT_VERSION}',
    cmds=["/usr/local/bin/dbt"],
    arguments=['docs', 'serve', '--port', '8081'],
    env_vars=env_var,
    name="deploy_lineage_graph",
    configmaps=['awskey'],
    task_id="deploy_lineage_graph",
    get_logs=True,
    dag=dag,
    is_delete_operator_pod=True,
    volumes=[
        {
            'name': 'dbt-docs-storage',
            'persistentVolumeClaim': {
                'claimName': 'dbt-docs-pvc'
            }
        }
    ],
    volume_mounts=[
        {
            'name': 'dbt-docs-storage',
            'mountPath': '/app/target'
        }
    ]
)

sync_data_lineage >> deploy_lineage_graph

该方案适合需要拆分生成与服务步骤的场景，同时共享存储可保留历史文档。

方案3：通过对象存储中转文档 #

利用客户环境的对象存储（如AWS S3），第一个任务生成文档后上传至对象存储，第二个任务先拉取文件到本地再启动服务。

修改后的任务命令示例（基于AWS S3）：

sync_data_lineage = KubernetesPodOperator(
    namespace='etl',
    image=f'blotout/dbt-analytics:{TAG_DBT_VERSION}',
    cmds=["/bin/bash"],
    arguments=['-c', 'dbt docs generate && aws s3 sync ./target s3://your-bucket/dbt-docs/'],
    env_vars=env_var,
    name="sync_data_lineage",
    configmaps=['awskey'],
    task_id="sync_data_lineage",
    get_logs=True,
    dag=dag,
    is_delete_operator_pod=True,
)

deploy_lineage_graph = KubernetesPodOperator(
    namespace='etl',
    image=f'blotout/dbt-analytics:{TAG_DBT_VERSION}',
    cmds=["/bin/bash"],
    arguments=['-c', 'aws s3 sync s3://your-bucket/dbt-docs/ ./target && dbt docs serve --port 8081'],
    env_vars=env_var,
    name="deploy_lineage_graph",
    configmaps=['awskey'],
    task_id="deploy_lineage_graph",
    get_logs=True,
    dag=dag,
    is_delete_operator_pod=True,
)

sync_data_lineage >> deploy_lineage_graph

注意：需确保镜像中安装了对应对象存储的CLI工具（如AWS CLI），并通过ConfigMap/Secret配置好访问权限。

内容的提问来源于stack exchange，提问作者azaveri7