如何对UNION ALL拼接基表与增量表的视图实现选择性谓词下推

方案1：使用表值函数（UDTF）封装逻辑（适用绝大多数支持自定义函数的数仓：Snowflake、BigQuery、Databricks Spark、Flink等） #

你需要的动态替换谓词的逻辑可以通过参数化的表值函数实现，完全不需要依赖优化器的下推规则，逻辑100%可控。
示例实现（以Spark SQL为例）：

CREATE OR REPLACE FUNCTION users_view(partition_predicate STRING, filter_predicate STRING)
RETURNS TABLE (id INT, account_id INT, city STRING, last_updated_at TIMESTAMP, 剩余列按实际表结构补充)
RETURN
SELECT * FROM (
    SELECT * FROM users
    WHERE 
        eval(partition_predicate) 
        AND eval(filter_predicate)
    UNION ALL
    SELECT * FROM user_changes
    WHERE eval(partition_predicate)
    QUALIFY ROW_NUMBER() OVER(
        PARTITION BY id 
        ORDER BY last_updated_at DESC
    ) = 1
)
WHERE 
    eval(partition_predicate) 
    AND eval(filter_predicate)

调用方式：

SELECT * FROM users_view("account_id = 1234", "city = 'Chicago'")

如果担心手动拆分谓词出错，也可以把参数调整为固定的account_id入参+其他过滤条件入参，使用门槛更低。

方案2：包装可变列阻止非分区谓词下推（无需改现有查询写法，仅修改视图定义，适用90%以上OLAP引擎） #

绝大多数SQL优化器不会把外层谓词下推到被函数/表达式包装过的列，你只要在增量表的查询里把所有可变属性用无副作用的空函数包装一层，就能阻止这些列的谓词下推，同时不影响最终结果。
视图定义示例：

CREATE OR REPLACE VIEW users_view AS (
    SELECT * FROM (
        -- 基表不需要修改，所有谓词都能正常下推
        SELECT * FROM users
        UNION ALL
        -- 增量表仅保留不可变列是原生类型，可变列用空函数包装
        SELECT
            id,
            account_id,
            last_updated_at,
            -- 所有可变属性都用COALESCE或者其他无副作用空函数包一层
            COALESCE(city, city) AS city,
            COALESCE(age, age) AS age,
            -- 其他可变列按同理处理
        FROM user_changes
        QUALIFY ROW_NUMBER() OVER(
            PARTITION BY id 
            ORDER BY last_updated_at DESC
        ) = 1
    )
)

如果所用引擎的优化器会把COALESCE这类无副作用函数优化掉，可以换成引擎专属的查询提示，比如Spark中可以给增量表查询加/*+ NO_PUSHDOWN_PREDICATE(city, age) */的Hint，明确禁止对应列的谓词下推。
这个方案的好处是完全不需要修改现有查询的写法，原来怎么查询users_view现在还可以怎么查，优化器会自动符合你的规则：

1. 把所有谓词（account_id、city等）都下推到基表users
2. 仅把account_id这类未被包装的不可变列谓词下推到增量表user_changes
3. 合并去重后统一应用全量过滤条件

方案3：利用引擎原生的谓词下推配置（适用特定引擎） #

如果你使用的是特定计算引擎，可以直接通过配置控制谓词下推规则，不需要修改SQL逻辑：

• Spark：可以设置spark.sql.optimizer.pushdownPredicatesThroughProject.blacklist配置，指定不准下推的可变列列表
• Greenplum：可以通过表级别参数optimizer_enable_predicate_pushdown或者查询OPTION (NO_PUSHDOWN)提示，控制增量表的下推规则
• 其他主流OLAP引擎基本都有类似的配置项，可直接查阅对应引擎的官方文档配置即可

内容的提问来源于stack exchange，提问作者micah