如何使用GCSObjectExistenceSensor检测GCS桶中带掩码的文件及解决use_glob报错

问题分析 #

你遇到的use_glob参数无效错误，大概率是因为该参数在部分Airflow版本中存在兼容性问题，或是glob模式的写法不符合GCS的匹配规则。针对检测指定文件夹下文件名前4位符合规则的文件存在需求，可通过以下两种方案解决：

方案1：改用GCSObjectsWithPrefixSensor（推荐） #

如果需求是匹配文件名前缀（前4位），GCSObjectsWithPrefixSensor更直接，无需依赖use_glob参数，兼容性更好：

from airflow.providers.google.cloud.sensors.gcs import GCSObjectsWithPrefixSensor

# 示例：检测my-bucket桶内data/文件夹下，文件名以2024开头的文件
gcs_sensor = GCSObjectsWithPrefixSensor(
    task_id="check_gcs_files",
    bucket="my-bucket",
    prefix="data/2024",  # 前缀包含文件夹路径+前4位规则
    mode="poke",
    poke_interval=60,
    timeout=3600
)

• 说明：prefix参数需指定完整的文件夹路径+文件名前4位，比如文件夹是raw/logs/、前4位规则是2024，就写raw/logs/2024
• 该传感器会自动检测桶内所有以指定前缀开头的文件，只要存在至少一个就会触发成功

方案2：正确使用GCSObjectExistenceSensor的glob模式 #

若坚持使用GCSObjectExistenceSensor，需确保Airflow版本≥2.5.0（该版本后use_glob参数才稳定支持），同时正确编写glob路径：

from airflow.providers.google.cloud.sensors.gcs import GCSObjectExistenceSensor

gcs_sensor = GCSObjectExistenceSensor(
    task_id="check_gcs_files",
    bucket="my-bucket",
    object_name="data/2024*",  # 文件夹路径+glob掩码，*匹配任意后续字符
    use_glob=True,
    mode="poke",
    poke_interval=60,
    timeout=3600
)

• 注意事项：
  • object_name必须包含完整的文件夹路径+glob模式，不能仅写文件名掩码
  • 确认Airflow版本支持use_glob，低版本可能无此参数或存在bug
  • glob模式仅支持*（匹配任意字符）、?（匹配单个字符）、[]（匹配字符集），不可使用复杂正则

关键提示 #

• 若只需检测多个符合规则的文件中的任意一个，上述两种方案均可满足，只要存在至少一个匹配文件就会成功
• 若需检测所有符合规则的文件都存在，则需结合GCSListObjectsOperator先列出文件，再判断数量是否符合要求

内容的提问来源于stack exchange，提问作者Nandeeshwar Reddy