使用Airflow的GCSHook按时间范围筛选GCS文件异常问题

使用Airflow的Google Provider Hook结合前缀列出GCS文件时，list_by_timespan方法未按指定时间区间筛选文件，而是返回了前缀下的所有文件。

原代码 #

midnight = datetime.datetime.utcnow().replace(hour=0, minute=0, second=0, microsecond=0)
now = datetime.datetime.utcnow()
gcs_hook = GCSHook('connection')
file_list = [os.path.basename(gcs_files) for gcs_files in gcs_hook.list_by_timespan(
                            bucket_name=BUCKET_GCS,
                            prefix=prefix_date.strftime('%Y%m%d'),
                            timespan_start=midnight, timespan_end=now,
                            delimiter='.csv')]

问题分析 #

1. delimiter参数误用：GCS的delimiter是用于路径层级分隔（如/），用来区分文件和子目录，不能用于筛选文件后缀（如.csv）。传入.csv会导致方法逻辑错误，无法正确处理时间筛选。
2. 时间筛选字段未明确：list_by_timespan默认按文件最后更新时间（updated）筛选，若需要按创建时间筛选，需显式指定timespan_type参数。
3. 后缀筛选逻辑缺失：原代码试图用delimiter实现后缀筛选，这是错误的，需在获取文件列表后单独过滤.csv文件。

修复方案 #

修正后的代码 #

from datetime import datetime
import os
from airflow.providers.google.cloud.hooks.gcs import GCSHook

midnight = datetime.utcnow().replace(hour=0, minute=0, second=0, microsecond=0)
now = datetime.utcnow()
gcs_hook = GCSHook('connection')

# 调用list_by_timespan时修正参数，明确时间筛选类型
gcs_file_paths = gcs_hook.list_by_timespan(
    bucket_name=BUCKET_GCS,
    prefix=prefix_date.strftime('%Y%m%d'),
    timespan_start=midnight,
    timespan_end=now,
    timespan_type='timeCreated',  # 按需选择：timeCreated（创建时间）/ updated（更新时间）
    delimiter=None  # 无需路径分隔则设为None，或直接省略该参数
)

# 单独筛选.csv后缀的文件
file_list = [os.path.basename(path) for path in gcs_file_paths if path.endswith('.csv')]

关键说明 #

• timespan_type参数：可选值为timeCreated或updated，根据业务需求选择筛选的时间维度，默认是updated。
• delimiter参数：仅当需要按路径层级（如子目录）过滤文件时使用，比如设置为/获取指定前缀下的一级文件/目录，不要用于文件后缀筛选。
• 时间格式：确保传入的timespan_start和timespan_end是UTC时间，GCS存储的文件时间均为UTC时区，避免时区偏差导致筛选错误。

内容的提问来源于stack exchange，提问作者Alex