DuckDB(V1.1.4)中实现reservoir()函数独立调用的方法问询

问题核心 #

你遇到的问题根源是DuckDB对自定义函数的稳定性默认处理：reservoir()的稳定性属性为NULL，会被优化为单次计算后复用结果；而内置的random()是VOLATILE属性，每次调用都会重新生成值，所以递归CTE里每次调用都返回独立随机数。

解决方案 #

不用Python等宿主语言的话，可通过以下几种方式强制DuckDB每次调用reservoir()时重新计算：

1. 绑定内置VOLATILE函数触发重计算 #

将reservoir()的调用与random()这类VOLATILE函数绑定，让整个表达式被识别为VOLATILE，从而每次迭代都重新执行reservoir()。示例：

WITH RECURSIVE cte AS (
    SELECT 1 AS n, reservoir() + random() * 0 AS r
    UNION ALL
    SELECT n+1, reservoir() + random() * 0 AS r FROM cte WHERE n < 5
)
SELECT * FROM cte;

这里random() * 0不改变reservoir()的结果，但会让DuckDB认为表达式需要每次重新计算。也可以用CASE语句实现类似效果：

CASE WHEN random() IS NOT NULL THEN reservoir() END

2. 用子查询强制独立计算 #

在递归CTE的每一步，将reservoir()放在子查询中执行，子查询会被视为独立的计算单元，每次迭代都会重新调用函数：

WITH RECURSIVE cte AS (
    SELECT 1 AS n, (SELECT reservoir()) AS r
    UNION ALL
    SELECT n+1, (SELECT reservoir()) FROM cte WHERE n < 5
)
SELECT * FROM cte;

3. 结合GENERATE_SERIES强制重计算 #

通过关联generate_series生成的单行表，让reservoir()的调用依赖于每次迭代的临时结果，从而触发重计算：

WITH RECURSIVE cte AS (
    SELECT 1 AS n, r
    FROM (SELECT reservoir() AS r) AS t
    UNION ALL
    SELECT n+1, r
    FROM cte, (SELECT reservoir() AS r) AS t
    WHERE n < 5
)
SELECT * FROM cte;

原理说明 #

这些方法本质上都是让DuckDB无法对reservoir()的调用结果进行缓存，通过引入VOLATILE属性的依赖或独立子查询，迫使引擎在每次递归迭代时重新执行函数调用，从而返回独立的结果。

内容的提问来源于stack exchange，提问作者peak