Airflow如何自动为各指定年月分区执行查询而无需硬编码日期?
实现方案
方案1:利用Airflow回填机制(更推荐,符合Airflow原生设计)
该方案无需硬编码年月范围,通过Airflow的定时和回填能力自动生成对应ym参数,后续扩展时间范围不需要修改DAG代码。
步骤1:修改HQL文件适配Airflow Jinja模板
将你sample_sql.hql里的所有${ym}替换为Airflow支持的Jinja模板变量:
ALTER TABLE sample_df DROP IF EXISTS PARTITION ( cpd_ym = {{ params.ym }} ) PURGE; INSERT INTO sample_df PARTITION ( cpd_ym = {{ params.ym }} ) SELECT * from sourcedf ; ANALYZE TABLE sample_df PARTITION ( cpd_ym = {{ params.ym }} ) COMPUTE STATISTICS; ANALYZE TABLE sample_df PARTITION ( cpd_ym = {{ params.ym }} ) COMPUTE STATISTICS FOR COLUMNS;
如果你的cpd_ym分区是字符串类型,需要给变量加引号,即写成cpd_ym = '{{ params.ym }}'。
步骤2:编写DAG代码
跑Hive任务需要使用HiveOperator而非MySqlOperator,DAG配置为每月执行,参数从执行日期自动生成:
from airflow import DAG from airflow.providers.apache.hive.operators.hive import HiveOperator from datetime import datetime default_args = { 'owner': 'airflow', 'start_date': datetime(2020, 1, 1), # 对应你要跑的最早年月的第一天 'retries': 1 } dag = DAG( 'hive_partition_refresh_dag', default_args=default_args, schedule_interval='0 12 2 * *', # 每月2号中午12点执行,可自行调整 catchup=False # 先关闭自动回溯,手动控制历史数据回填 ) hive_task = HiveOperator( task_id='refresh_monthly_partition', hive_cli_conn_id='hive_default', # 替换为你自己配置的Hive连接ID hql='/path/to/sample_sql.hql', # 替换为HQL文件的实际路径 params={ 'ym': '{{ execution_date.strftime("%Y%m") }}' # 自动从执行日期提取年月格式 }, dag=dag )
步骤3:执行历史数据回填
在Airflow服务器执行以下命令批量跑202001到202110的所有任务:
airflow dags backfill -s 2020-01-01 -e 2021-10-31 hive_partition_refresh_dag
后续需要跑新月份的任务时,要么等定时自动执行,要么手动触发对应月份的DAG Run即可,无需修改代码。
方案2:动态生成固定年月的独立任务
如果你需要所有年月的任务都直接在DAG界面显示,支持单独调度/重跑,可以直接循环生成所有年月的任务:
步骤1:修改HQL文件,和方案1的步骤1完全一致
步骤2:编写带动态任务的DAG代码
from airflow import DAG from airflow.providers.apache.hive.operators.hive import HiveOperator from datetime import datetime default_args = { 'owner': 'airflow', 'start_date': datetime(2023, 1, 1), # 这里的start_date只要早于当前时间即可 'retries': 1 } dag = DAG( 'hive_partition_refresh_fixed_range_dag', default_args=default_args, schedule_interval=None, # 设为None表示仅手动触发,也可以按需求配置定时规则 catchup=False ) # 生成202001到202110的所有年月列表 def generate_month_list(start_year, start_month, end_year, end_month): month_list = [] current_year, current_month = start_year, start_month while (current_year < end_year) or (current_year == end_year and current_month <= end_month): month_list.append(f"{current_year}{current_month:02d}") current_month += 1 if current_month > 12: current_month = 1 current_year += 1 return month_list ym_list = generate_month_list(2020, 1, 2021, 10) # 循环生成每个年月的独立任务 for ym in ym_list: HiveOperator( task_id=f'refresh_partition_{ym}', hive_cli_conn_id='hive_default', hql='/path/to/sample_sql.hql', params={'ym': ym}, dag=dag )
该方案部署后DAG里会生成每个年月对应的独立任务,你可以手动触发全部任务,也可以单独触发某个失败的年月任务。
注意事项
- 如果你使用的是Airflow 2.x版本,需要提前安装Hive provider包:
pip install apache-airflow-providers-apache-hive - 提前在Airflow的连接管理界面配置好
hive_default连接,对应你的Hive集群信息
内容的提问来源于stack exchange,提问作者Maths12
相关产品推荐
相关产品推荐

