如何实现基于ID列的无重复Union？避免重复调用流水线函数优化性能

我完全理解你的需求——要合并两个数据集，优先保留流水线函数返回的记录（即第二个数据集里已存在于第一个的id不纳入），同时不想因为重复调用p_package.getData(param)导致性能损耗。流水线函数如果涉及复杂计算或大量数据读取，重复调用确实会显著拖慢查询速度，所以我们需要先把它的结果暂存起来，再进行后续的合并逻辑。

推荐实现方式：用CTE暂存第一个数据集 #

最清晰且高效的做法是使用WITH子句（Common Table Expression，CTE）将流水线函数的结果一次性查询出来，后续的操作都基于这个临时逻辑集合：

WITH first_dataset AS (
    -- 只调用一次流水线函数，把结果暂存
    SELECT id, col2, col3 
    FROM table(p_package.getData(param))
)
-- 先取第一个数据集的所有记录
SELECT id, col2, col3 FROM first_dataset
-- 再合并第二个数据集中id不存在于第一个的记录
UNION ALL
SELECT t1.id, t1.col2, t1.col3 
FROM table1 t1
WHERE t1.col7 = 'pass' 
  AND t1.col8 <> 'A' 
  AND t1.col9 = TO_DATE(t1.Date, 'mm/dd/yyyy')
  -- 确保当前记录的id不在第一个数据集里
  AND NOT EXISTS (
      SELECT 1 FROM first_dataset fd WHERE fd.id = t1.id
  );

为什么这样做更好？ #

1. 性能优化：CTE会只执行一次p_package.getData(param)，后续的两次引用都是基于这个已计算好的结果集，避免了重复调用带来的额外开销。
2. 逻辑清晰：把第一个数据集的定义单独抽离出来，整个查询的逻辑一目了然，便于维护和修改。
3. 高效合并：用UNION ALL代替原查询的UNION——因为我们已经通过NOT EXISTS确保了两个数据集的id没有重叠，所以不需要UNION自带的去重操作，进一步提升查询效率。

额外注意点 #

如果你的id列可能存在NULL值，NOT EXISTS里的fd.id = t1.id不会匹配两个NULL（因为NULL不等于任何值，包括NULL）。如果需要处理这种场景，可以调整NOT EXISTS的条件：

AND NOT EXISTS (
    SELECT 1 FROM first_dataset fd 
    WHERE (fd.id = t1.id OR (fd.id IS NULL AND t1.id IS NULL))
)

内容的提问来源于stack exchange，提问作者Boap