如何在DuckDB的SQL查询中循环传入DataFrame的col3值

方法1：基于pandasql循环查询（兼容你现有代码） #

先提取col3的所有唯一值避免重复查询，再通过字符串拼接动态生成SQL语句，循环执行查询：

import pandas as pd
import pandasql as ps

# 确保你的DataFrame已命名为result（和SQL表名对应）
result = df

# 获取col3的所有唯一值
unique_col3_values = result['col3'].unique()

# 用于存储所有查询结果的列表
query_results = []

# 循环每个col3值执行查询
for val in unique_col3_values:
    # 动态拼接SQL语句，注意单引号包裹字符串值
    sql_query = f"select * from result where col3 = '{val}'"
    current_result = ps.sqldf(sql_query)
    print(current_result)
    # 保存结果到列表（可选）
    query_results.append(current_result)

# 可选：将所有结果合并为一个DataFrame
final_result = pd.concat(query_results, ignore_index=True)

方法2：用DuckDB原生参数化查询（更安全高效） #

如果是用DuckDB直接操作DataFrame，推荐用参数化查询，避免SQL注入风险，同时适配含特殊字符的col3值：

import duckdb
import pandas as pd

# 建立DuckDB连接
conn = duckdb.connect()

# 将DataFrame注册为DuckDB可识别的表
conn.register('result', df)

# 获取col3的唯一值
unique_col3_values = df['col3'].unique()

query_results = []

for val in unique_col3_values:
    # 使用参数化查询，?作为占位符
    sql_query = "select * from result where col3 = ?"
    current_result = conn.execute(sql_query, [val]).fetchdf()
    print(current_result)
    query_results.append(current_result)

# 关闭连接
conn.close()

# 合并结果（可选）
final_result = pd.concat(query_results, ignore_index=True)

优化方案：一次性查询后分组（避免循环多次SQL） #

如果不需要分开执行查询，更高效的方式是一次性拉取所有数据，再按col3分组处理，减少SQL执行次数：

import duckdb
import pandas as pd

conn = duckdb.connect()
conn.register('result', df)

# 一次性获取所有数据
full_data = conn.execute("select * from result").fetchdf()
conn.close()

# 按col3分组遍历
for col3_val, group_data in full_data.groupby('col3'):
    print(f"=== col3值为 {col3_val} 的数据 ===")
    print(group_data)

内容的提问来源于stack exchange，提问作者peter