CROSS JOIN UNNEST视图加WHERE条件抛CannotPlanException：原因与解决

问题原因 #

这个异常源于Flink底层依赖的Calcite优化器处理嵌套视图过滤条件下推时的逻辑冲突：

• 第一层视图s3_objects通过CROSS JOIN UNNEST展开数组字段，并添加了object_size > 0的过滤；
• 第二层视图filtered_s3_objects新增的object_key > ''过滤，需要被优化器下推到原始表执行逻辑中，但Calcite无法正确识别经过视图抽象后的object_key与UNNEST展开字段的溯源关系；
• 当优化器尝试合并两层过滤逻辑并下推时，规则链无法生成合法的执行计划，最终抛出CannotPlanException。
  而将过滤条件合并到同一视图时，优化器可以一次性处理UNNEST和过滤逻辑，不会出现字段溯源的问题。

解决方案 #

1. 使用查询提示阻止优化器下推 #

在第二层视图的查询中添加/*+ NO_REWRITE */提示，让优化器将第一层视图作为独立逻辑单元执行，第二层过滤直接在视图结果上进行，避免下推逻辑冲突：

CREATE TEMPORARY VIEW filtered_s3_objects AS
SELECT /*+ NO_REWRITE */ bucket_name, object_key
FROM s3_objects
WHERE object_key > ''

2. 合并视图逻辑 #

如果业务允许，将两层视图的逻辑合并为单个查询，绕过嵌套视图的优化问题：

CREATE TEMPORARY VIEW filtered_s3_objects AS
SELECT bucket_name, object_key
FROM (
  SELECT
    r.s3.bucket.name AS bucket_name,
    r.s3.object.key AS object_key,
    r.s3.object.size AS object_size
  FROM s3_put_event
  CROSS JOIN UNNEST(s3_put_event.Records) AS r(s3)
) rs
WHERE object_size > 0 AND object_key > ''

3. 升级Flink版本 #

该问题属于Calcite优化器的已知bug，在Flink 1.15及以上版本中已被修复。若当前使用的Flink版本较低，升级到稳定新版本可从根本上解决问题。

4. 调整过滤条件写法 #

尝试将object_key > ''替换为等价的LENGTH(object_key) > 0，部分场景下可绕过优化器的下推逻辑冲突：

CREATE TEMPORARY VIEW filtered_s3_objects AS
SELECT bucket_name, object_key
FROM s3_objects
WHERE LENGTH(object_key) > 0

内容的提问来源于stack exchange，提问作者배대연