如何迭代运行pandas SQL查询并将返回结果整合为单个列表
实现建议
你完全不需要生成代码再写入文件执行,直接在循环中执行查询并收集结果即可,以下是可直接运行的实现代码:
import pandas import pyodbc ALL_NAMES = ['alpha', 'betha', 'gamma'] # 提前定义你要取的列名和目标行索引 TARGET_COLUMN = "Column" # 替换为实际列名 TARGET_INDEX = 0 # 替换为实际需要取的行索引 # 建立数据库连接 connection = pyodbc.connect("DRIVER={Driver};SERVER=SQL;DATABASE=DB;Trusted_Connection=yes") result_list = [] for table_name in ALL_NAMES: # 构造查询语句,这里做了优化只查需要的列,不需要拉取全表数据 sql = f"SELECT {TARGET_COLUMN} FROM [schema].[{table_name}]" df = pandas.read_sql_query(sql, connection) # 取出对应位置的值加入结果列表 result_list.append(df[TARGET_COLUMN].iloc[TARGET_INDEX]) # 关闭连接释放资源 connection.close() print(result_list) # 输出示例: [17, 43, 12]
优化点说明
- 砍掉了生成代码、写入文件、运行脚本、解析结果的冗余流程,所有操作直接在当前脚本中完成
- 优化SQL查询逻辑,不再使用
SELECT *拉取全表数据,仅查询需要的目标列,大幅降低IO开销和查询耗时 - 直接遍历
ALL_NAMES取元素,不需要通过索引下标遍历,代码更简洁易读 - 因为表名来自你自己维护的可信列表
ALL_NAMES,直接拼接SQL不会有注入风险,如果你后续需要接受外部传入的表名,可调整为参数化查询加固安全性
可选增强方案
如果你的表数量较多,可以新增异常捕获逻辑,避免单个表查询失败导致整个流程中断:
result_list = [] for table_name in ALL_NAMES: try: sql = f"SELECT {TARGET_COLUMN} FROM [schema].[{table_name}]" df = pandas.read_sql_query(sql, connection) result_list.append(df[TARGET_COLUMN].iloc[TARGET_INDEX]) except Exception as e: print(f"查询表{table_name}失败: {str(e)}") # 也可以选择写入占位值,保证结果列表长度和表名列表一致:result_list.append(None)
内容的提问来源于stack exchange,提问作者scjorge
相关产品推荐
相关产品推荐

