You need to enable JavaScript to run this app. Airflow如何自动为各指定年月分区执行查询而无需硬编码日期?
优惠活动
大模型
产品
解决方案
定价
更多

Airflow如何自动为各指定年月分区执行查询而无需硬编码日期?

实现方案

方案1:利用Airflow回填机制(更推荐,符合Airflow原生设计)

该方案无需硬编码年月范围,通过Airflow的定时和回填能力自动生成对应ym参数,后续扩展时间范围不需要修改DAG代码。

步骤1:修改HQL文件适配Airflow Jinja模板

将你sample_sql.hql里的所有${ym}替换为Airflow支持的Jinja模板变量:

ALTER TABLE sample_df DROP IF EXISTS
PARTITION (
    cpd_ym = {{ params.ym }}
) PURGE;

INSERT INTO sample_df
PARTITION (
    cpd_ym = {{ params.ym }}
)
SELECT
  * 
from sourcedf 
; 

ANALYZE TABLE sample_df
PARTITION (
    cpd_ym = {{ params.ym }}
)
COMPUTE STATISTICS;

ANALYZE TABLE sample_df
PARTITION (
    cpd_ym = {{ params.ym }}
)
COMPUTE STATISTICS FOR COLUMNS;

如果你的cpd_ym分区是字符串类型,需要给变量加引号,即写成cpd_ym = '{{ params.ym }}'。

步骤2:编写DAG代码

跑Hive任务需要使用HiveOperator而非MySqlOperator,DAG配置为每月执行,参数从执行日期自动生成:

from airflow import DAG
from airflow.providers.apache.hive.operators.hive import HiveOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2020, 1, 1), # 对应你要跑的最早年月的第一天
    'retries': 1
}

dag = DAG(
    'hive_partition_refresh_dag',
    default_args=default_args,
    schedule_interval='0 12 2 * *', # 每月2号中午12点执行,可自行调整
    catchup=False # 先关闭自动回溯,手动控制历史数据回填
)

hive_task = HiveOperator(
    task_id='refresh_monthly_partition',
    hive_cli_conn_id='hive_default', # 替换为你自己配置的Hive连接ID
    hql='/path/to/sample_sql.hql', # 替换为HQL文件的实际路径
    params={
        'ym': '{{ execution_date.strftime("%Y%m") }}' # 自动从执行日期提取年月格式
    },
    dag=dag
)

步骤3:执行历史数据回填

在Airflow服务器执行以下命令批量跑202001到202110的所有任务:

airflow dags backfill -s 2020-01-01 -e 2021-10-31 hive_partition_refresh_dag

后续需要跑新月份的任务时,要么等定时自动执行,要么手动触发对应月份的DAG Run即可,无需修改代码。


方案2:动态生成固定年月的独立任务

如果你需要所有年月的任务都直接在DAG界面显示,支持单独调度/重跑,可以直接循环生成所有年月的任务:

步骤1:修改HQL文件,和方案1的步骤1完全一致

步骤2:编写带动态任务的DAG代码

from airflow import DAG
from airflow.providers.apache.hive.operators.hive import HiveOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2023, 1, 1), # 这里的start_date只要早于当前时间即可
    'retries': 1
}

dag = DAG(
    'hive_partition_refresh_fixed_range_dag',
    default_args=default_args,
    schedule_interval=None, # 设为None表示仅手动触发,也可以按需求配置定时规则
    catchup=False
)

# 生成202001到202110的所有年月列表
def generate_month_list(start_year, start_month, end_year, end_month):
    month_list = []
    current_year, current_month = start_year, start_month
    while (current_year < end_year) or (current_year == end_year and current_month <= end_month):
        month_list.append(f"{current_year}{current_month:02d}")
        current_month += 1
        if current_month > 12:
            current_month = 1
            current_year += 1
    return month_list

ym_list = generate_month_list(2020, 1, 2021, 10)

# 循环生成每个年月的独立任务
for ym in ym_list:
    HiveOperator(
        task_id=f'refresh_partition_{ym}',
        hive_cli_conn_id='hive_default',
        hql='/path/to/sample_sql.hql',
        params={'ym': ym},
        dag=dag
    )

该方案部署后DAG里会生成每个年月对应的独立任务,你可以手动触发全部任务,也可以单独触发某个失败的年月任务。


注意事项

  • 如果你使用的是Airflow 2.x版本,需要提前安装Hive provider包:pip install apache-airflow-providers-apache-hive
  • 提前在Airflow的连接管理界面配置好hive_default连接,对应你的Hive集群信息

内容的提问来源于stack exchange,提问作者Maths12

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.07 16:57:01