Google Cloud Run上DuckDB多线程无法利用多vCPU问题求助

核心原因及对应解决方案 #

1. DuckDB并行线程数未配置 #

DuckDB默认在部分环境下会限制线程数为1，你的代码仅配置了httpfs相关参数，未设置并行线程数：

• 解决方案：初始化DuckDB时添加线程数配置，推荐用auto让DuckDB自动适配可用CPU核心数：

# 替换原有的DuckDB初始化代码
con = duckdb.connect()
con.execute("INSTALL httpfs; LOAD httpfs;")
con.execute("PRAGMA enable_object_cache; SET enable_http_metadata_cache=true;")
con.execute("SET threads = auto;")  # 关键配置：自动匹配CPU核心数

def Query(request):
    SQL = request.get_json().get('name')
    try:
        df = con.execute(SQL).df()
    except Exception as er:
        df = pd.DataFrame([{'error': str(er)}])
    return json.dumps(df.to_json(orient="records")), 200, {'Content-Type': 'application/json'}

2. 代码结构与初始化逻辑错误 #

你的代码存在缩进问题：duckdb.query段的缩进不正确，可能导致初始化逻辑未执行；且直接使用全局duckdb.execute而非带配置的连接对象，无法应用并行设置。

• 解决方案：调整代码缩进，确保初始化逻辑在函数外（Cloud Function冷启动时仅执行一次），并通过配置好的连接对象执行查询。

3. 查询本身的并行适用性限制 #

如果查询数据量过小或逻辑简单（比如单条数据查询、小表过滤），DuckDB会自动用单线程执行——因为并行带来的开销大于收益。

• 验证方法：测试一个需要大量计算的查询（比如大表分组聚合、全表扫描），观察Metrics Dashboard的CPU使用率变化。

4. Cloud Run CPU分配模式确认 #

确保Cloud Function Gen2对应的Cloud Run服务设置了CPU始终分配（而非仅请求时分配），且分配了2核及以上vCPU。如果是请求时分配CPU，可能导致DuckDB无法稳定利用多核。

内容的提问来源于stack exchange，提问作者Mim