Athena查询字符串格式日期范围时出现INVALID_FUNCTION_ARGUMENT错误

问题背景 #

CSV数据集分散在多个目录的文件中，quote_date列格式为10/8/2024（非ISO标准日期格式）。由于直接将该列设为date类型会导致所有值为空，因此将Athena表的quote_date定义为string类型。

正常运行的查询（无日期过滤） #

select
    customer_id,
    q_date,
    normalized_price
from (
    select *, date_parse(quote_date,'%m/%d/%Y') as q_date
    from prices
    where customer_id is not null
) as tbl
where
    customer_id = 435
order by q_date desc

报错的查询（添加日期过滤） #

select
    customer_id,
    q_date,
    normalized_price
from (
    select *, date_parse(quote_date,'%m/%d/%Y') as q_date
    from prices
    where customer_id is not null
) as tbl
where
    customer_id = 435
  AND
    date(q_date) > date('2024-11-15')
order by q_date desc

错误信息：INVALID_FUNCTION_ARGUMENT: Invalid format: “QUOTE_DATE”

底层原因：谓词下推导致的提前转换 #

问题核心是Athena的谓词下推（Predicate Pushdown）优化机制：

• Athena会尽可能将过滤逻辑下推到数据源扫描的早期阶段，减少需要处理的数据量以提升性能。
• 当添加date(q_date) > date('2024-11-15')的过滤条件后，Athena会将这个条件等价转换为date(date_parse(quote_date,'%m/%d/%Y')) > date('2024-11-15')，并尝试下推到子查询的数据源扫描步骤执行——此时customer_id is not null的过滤还未生效。
• 你的多目录CSV文件中存在重复表头行（每个文件都包含QUOTE_DATE、CUSTOMER_ID格式的表头），这些行的quote_date值是字符串QUOTE_DATE，完全不符合%m/%d/%Y的日期格式，因此date_parse转换失败，触发报错。

结合测试结果的验证 #

1. 不带日期过滤时正常：子查询中的customer_id is not null会先过滤掉表头行（表头行的customer_id是字符串，无法匹配数值型列，被视为null），之后date_parse仅处理有效数据行，因此无报错。
2. 用try()包裹后正常：try(date_parse(...))在转换失败时会返回null而非抛出错误，后续的customer_id is not null和customer_id=435过滤会自动排除这些表头行，因此查询能正常返回结果。
3. try(date_parse)为null的结果为空：说明这些无效的表头行已经被其他过滤条件排除，不会出现在最终结果集中。

内容的提问来源于stack exchange，提问作者Stefano