Airflow DAG中无法触发动态创建的Pipeline问题求助
Airflow DAG中无法触发动态创建的Pipeline问题求助
我现在碰到了一个Airflow的棘手问题,想请大家帮忙看看:我写了一个用来把MongoDB数据同步到BigQuery的DAG,单独测试我的Apache Beam pipeline的时候完全正常,但当我尝试用PythonOperator动态生成BeamRunPythonPipelineOperator,以此来并行处理MongoDB里的所有集合时,怪事发生了——既没有任何报错信息,可对应的Beam任务压根就没被触发。
我的代码开头部分是这样的:
from __future__ import annotations import os os.environ['GOOGLE_APPLICATION_CREDENTIALS']
有没有大佬能帮我排查下问题出在哪呀?
备注:内容来源于stack exchange,提问作者Ajay Kumar
相关产品推荐
相关产品推荐

