如何通过循环用SQL查询结果填充Pandas空DataFrame？

嘿，我来帮你搞定这个需求！下面是针对「创建空DataFrame并循环填充SQL查询结果」的完整解决方案，结合你给出的代码片段做了优化和完善：

咱们一步步来拆解实现流程，保证每一步都清晰可控：

步骤1：保留已有的基础代码 #

你已经写好的数据库连接、查询和文本替换逻辑可以直接沿用，这部分没问题：

from sqlalchemy import create_engine
from sqlalchemy.sql import text
import pandas as pd

# 替换成你的实际数据库连接串
engine = create_engine('your_connection_string_here')

# 定义SQL查询语句
script = 'select * from table WHERE id=1111;'
query = text(script)

# 执行查询获取结果集
result = engine.execute(query)

# 定义文本替换规则和工具函数
rep = {"\\": "", "{": "", "}": "", '"': '', 'attributes:"': ""}
def replace_all(text, dic):
    for i, j in dic.items():
        text = text.replace(i, j)
    return text

步骤2：创建指定列的空DataFrame #

这里有两种灵活的方式，你可以根据需求选择：

• 自动获取列名（推荐）：直接从SQL结果集中提取列名，不用手动硬编码，适配性更强：

# 从查询结果中提取所有列名
columns = [col for col in result.keys()]
# 创建对应列的空DataFrame
df = pd.DataFrame(columns=columns)

• 手动指定列名：如果你明确知道只需要某几列，直接手动定义更可控：

# 替换成你实际需要的列名
columns = ['id', 'name', 'content', 'create_time']
df = pd.DataFrame(columns=columns)

步骤3：循环填充并处理数据 #

接下来把SQL结果逐行处理后填充到DataFrame里，这里给你两种实现方式：

方式一：逐行添加（适合小数据量） #

# 遍历结果集的每一行
for row in result:
    # 把行数据转成字典格式，方便操作
    row_dict = dict(row)
    
    # 对字符串类型的字段应用替换规则（按需调整，比如只处理特定字段）
    for key, value in row_dict.items():
        if isinstance(value, str):
            row_dict[key] = replace_all(value, rep)
    
    # 将处理后的行添加到DataFrame
    df = df._append(row_dict, ignore_index=True)

方式二：批量处理（大数据量更高效） #

如果查询结果数据很多，逐行添加会很慢，推荐先把所有数据处理成列表，再一次性生成DataFrame：

processed_rows = []
for row in result:
    row_dict = dict(row)
    # 处理字符串字段
    for key, value in row_dict.items():
        if isinstance(value, str):
            row_dict[key] = replace_all(value, rep)
    processed_rows.append(row_dict)

# 一次性生成DataFrame
df = pd.DataFrame(processed_rows, columns=columns)

完整可运行代码 #

把上面的部分整合起来，就是完整的实现啦：

from sqlalchemy import create_engine
from sqlalchemy.sql import text
import pandas as pd

# 初始化数据库连接
engine = create_engine('your_connection_string_here')

# 执行SQL查询
script = 'select * from table WHERE id=1111;'
query = text(script)
result = engine.execute(query)

# 定义文本替换规则和函数
rep = {"\\": "", "{": "", "}": "", '"': '', 'attributes:"': ""}
def replace_all(text, dic):
    for i, j in dic.items():
        text = text.replace(i, j)
    return text

# 创建空DataFrame
columns = [col for col in result.keys()]
df = pd.DataFrame(columns=columns)

# 批量处理并填充数据
processed_rows = []
for row in result:
    row_dict = dict(row)
    for key, value in row_dict.items():
        if isinstance(value, str):
            row_dict[key] = replace_all(value, rep)
    processed_rows.append(row_dict)

df = pd.DataFrame(processed_rows, columns=columns)

# 查看结果
print(df.head())

内容的提问来源于stack exchange，提问作者Andres Urrego Angel