如何在Pandas SQL查询中传参批量转换数据库表为DataFrame

错误原因分析 #

你遇到的两个核心问题：

• 调用函数时直接写sql_to_df(attendance)，这里attendance是未定义的变量，必须传递字符串形式的表名，比如sql_to_df('attendance')
• SQL语句中的table_name是硬编码的字符串字面量，不会自动替换为函数参数值，数据库会尝试查找名为table_name的表，而非你传入的实际表名

解决方案 #

方法1：字符串格式化（简单直接，适合可控内部环境） #

通过f-string将函数参数插入到SQL语句中：

import pandas as pd

def sql_to_df(table_name):
    # 使用f-string动态替换表名
    sql_query = pd.read_sql_query(f'''
                               SELECT
                               *
                               FROM {table_name}
                               ''', test_db_engine)
    return sql_query  # read_sql_query直接返回DataFrame，无需二次转换

# 正确调用：传递字符串表名
attendance_df = sql_to_df('attendance')

方法2：参数化查询（安全防注入，推荐生产环境） #

如果需要处理不可信来源的表名，使用数据库驱动的参数化方式（以PostgreSQL的psycopg2为例）：

import pandas as pd
from psycopg2 import sql

def sql_to_df(table_name):
    # 用sql.Identifier安全处理表名，避免SQL注入风险
    query = sql.SQL("SELECT * FROM {}").format(sql.Identifier(table_name))
    return pd.read_sql_query(query, test_db_engine)

attendance_df = sql_to_df('attendance')

方法3：利用Pandas内置简化写法 #

Pandas的read_sql方法直接支持传入表名，无需手动编写SELECT语句：

import pandas as pd

def sql_to_df(table_name):
    return pd.read_sql(table_name, test_db_engine)

attendance_df = sql_to_df('attendance')

批量转换多张表 #

如果要批量处理多张表，只需遍历表名列表即可：

# 定义需要转换的表名列表
table_names = ['attendance', 'users', 'orders', 'products']
# 用字典存储各表的DataFrame，方便后续调用
table_dfs = {}

for table in table_names:
    table_dfs[table] = sql_to_df(table)

# 示例：访问attendance表的DataFrame
print(table_dfs['attendance'].head())

内容的提问来源于stack exchange，提问作者Awesome