如何为按年/月/日分区的Glue表正确设置日期范围下推谓词？

查询S3上按年/月/日分区的Glue Catalog表时，原有的分区谓词写法（分别对年、月、日设置范围）无法覆盖跨年月的日期场景，如何正确设置日期范围的下推谓词？

原错误代码示例：

query = f"""(year BETWEEN '{start.year}' AND '{end.year}') AND (month BETWEEN '{start.month}' AND '{end.month}') AND (day BETWEEN '{start.day}' AND '{end.day}')"""
df = glueContext.create_dynamic_frame_from_catalog( \
    database=database, \
    table_name = "some_glue_catalog_table", \
    push_down_predicate = query) \
    .toDF()

正确解决方案 #

方法1：拼接分区字段为完整日期做范围判断 #

利用Spark日期函数，将年、月、日分区字段拼接成完整日期后直接判断范围，这种写法简洁且能自然覆盖所有跨年月场景：

# 将start、end日期格式化为标准字符串
start_str = start.strftime("%Y-%m-%d")
end_str = end.strftime("%Y-%m-%d")

# 构造下推谓词：拼接分区字段为日期，再做范围比较
query = f"""to_date(concat(year, '-', month, '-', day)) BETWEEN '{start_str}' AND '{end_str}'"""

df = glueContext.create_dynamic_frame_from_catalog(
    database=database,
    table_name="some_glue_catalog_table",
    push_down_predicate=query
).toDF()

方法2：分场景构造逻辑谓词 #

如果担心日期拼接的性能消耗，可以按年份、月份的不同场景拆分逻辑，精准覆盖所有情况：

start_year = start.year
start_month = start.month
start_day = start.day
end_year = end.year
end_month = end.month
end_day = end.day

if start_year == end_year:
    if start_month == end_month:
        # 同一年同月：仅判断日范围
        query = f"""year = '{start_year}' AND month = '{start_month}' AND day BETWEEN '{start_day}' AND '{end_day}'"""
    else:
        # 同一年不同月：起始月剩余日期 + 中间完整月份 + 结束月前半段日期
        query = f"""
            year = '{start_year}' 
            AND (
                (month = '{start_month}' AND day >= '{start_day}') 
                OR (month BETWEEN '{start_month + 1}' AND '{end_month - 1}') 
                OR (month = '{end_month}' AND day <= '{end_day}')
            )
        """
else:
    # 跨年场景：起始年剩余月份 + 中间完整年份 + 结束年前半段月份
    query = f"""
        (year = '{start_year}' AND (month > '{start_month}' OR (month = '{start_month}' AND day >= '{start_day}')))
        OR (year BETWEEN '{start_year + 1}' AND '{end_year - 1}')
        OR (year = '{end_year}' AND (month < '{end_month}' OR (month = '{end_month}' AND day <= '{end_day}')))
    """

df = glueContext.create_dynamic_frame_from_catalog(
    database=database,
    table_name="some_glue_catalog_table",
    push_down_predicate=query
).toDF()

注意事项 #

• 确认分区字段（year、month、day）的类型：如果是数字类型，需要去掉谓词中的单引号
• 方法1更简洁，Glue的下推优化机制能很好处理这类日期拼接逻辑，性能损耗可忽略
• 方法2逻辑更细致，适合分区字段为数字类型且对性能要求极高的场景

内容的提问来源于stack exchange，提问作者User