如何为polars.read_database设置超时？避免Postgres查询无限等待

以下是几个实用方案，帮你避免查询卡住的情况：

1. 在数据库连接URI中设置超时参数 #

直接在连接字符串里添加Postgres的超时参数，强制查询在指定时间内返回或抛出异常，不会无限等待。常用两个参数：

• connect_timeout：限制建立连接的超时时间（单位：秒）
• statement_timeout：限制查询执行的超时时间（单位：毫秒）

示例URI：

postgresql://user:password@host:port/dbname?connect_timeout=10&statement_timeout=30000

将此URI传给polars.read_database，当连接或查询超时后会直接抛出异常，你可捕获后做重试或其他业务处理。

2. 查询前检查物化视图的刷新状态 #

发起数据查询前，先检查目标物化视图是否正在刷新，避开刷新窗口期。执行这条Postgres查询：

SELECT is_refresh FROM pg_stat_user_mviews WHERE matviewname = '你的物化视图名';

如果返回的is_refresh为true，说明视图正在刷新，你可以暂停几秒重试，或直接跳过本次查询（根据业务需求）。

用Polars先执行检查的示例代码：

import polars as pl
import time

check_query = "SELECT is_refresh FROM pg_stat_user_mviews WHERE matviewname = 'your_mv'"
is_refreshing = pl.read_database(check_query, connection_uri).item()

if not is_refreshing:
    data = pl.read_database("SELECT * FROM your_mv", connection_uri)
else:
    time.sleep(5)
    # 可加入重试逻辑

3. 实现带退避策略的重试机制 #

如果偶尔因刷新导致查询失败，用重试机制自动重试，但需设置重试次数和间隔递增，避免频繁压服务器。可用tenacity库实现：

先安装依赖：

pip install tenacity

示例代码：

import polars as pl
from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type
import psycopg2

@retry(
    stop=stop_after_attempt(5),  # 最多重试5次
    wait=wait_exponential(multiplier=1, min=2, max=10),  # 重试间隔：2s→4s→8s→10s→10s
    retry=retry_if_exception_type((psycopg2.OperationalError, TimeoutError))
)
def fetch_data():
    return pl.read_database("SELECT * FROM your_mv", connection_uri)

try:
    data = fetch_data()
except Exception as e:
    print(f"多次重试后仍失败: {e}")

4. 改用并发刷新物化视图（根源解决） #

如果你的Postgres版本≥12，可使用REFRESH MATERIALIZED VIEW CONCURRENTLY刷新视图，这种方式不会锁住视图，刷新期间仍可正常查询。但前提是物化视图必须有唯一索引：

先创建唯一索引：

CREATE UNIQUE INDEX idx_your_mv_unique ON your_mv (唯一键列名);

再执行并发刷新：

REFRESH MATERIALIZED VIEW CONCURRENTLY your_mv;

从此刷新时视图始终可访问，从根源上避免查询等待问题。

内容的提问来源于stack exchange，提问作者dapmel