Python中基于MySQL返回结果查询而非重复调用数据库的最佳实践

一、基于Pandas DataFrame的SQL化处理 #

既然熟悉SQL逻辑，直接用Pandas配合工具就能在内存里用SQL操作数据集：

• 用pandasql库：这是最贴合需求的方案，允许你用标准SQL查询Pandas DataFrame。安装后把DataFrame注册成临时表，就能像写MySQL SQL一样生成各类报表。
  示例代码：

  from pandasql import sqldf
  import pandas as pd
  
  # 假设df是从数据库获取的学生综合数据DataFrame
  # 定义简化查询的函数
  pysqldf = lambda q: sqldf(q, globals())
  
  # 生成教务处需要的考勤异常统计
  attendance_exception = pysqldf("""
      SELECT 
          student_id, 
          student_name, 
          COUNT(CASE WHEN attendance_status = '迟到' THEN 1 END) AS late_times,
          COUNT(CASE WHEN attendance_status = '缺勤' THEN 1 END) AS absent_times
      FROM df
      GROUP BY student_id, student_name
      HAVING absent_times > 3
  """)
  
  # 生成学工处需要的年级考勤达标率报表
  grade_attendance_rate = pysqldf("""
      SELECT 
          grade, 
          class, 
          ROUND(AVG(CASE WHEN attendance_status = '正常' THEN 1 ELSE 0 END)*100, 2) AS qualified_rate
      FROM df
      GROUP BY grade, class
      ORDER BY qualified_rate DESC
  """)
  

• Pandas原生query方法：如果SQL逻辑相对简单，用df.query()更轻便，语法接近SQL的WHERE子句，适合快速筛选计算。
  示例：

  # 筛选高二年级缺勤超2次的学生
  filtered_students = df.query("grade == '高二' and absent_times > 2")
  

二、处理字典/列表形式的原始数据集 #

如果数据是字典或列表格式，优先转成Pandas DataFrame——结构化数据处理效率最高，转换成本极低：

# 假设data是从数据库返回的字典列表
df = pd.DataFrame(data)
# 之后即可用上面pandasql的方式处理

若不想转DataFrame，可通过sqlite3创建内存临时数据库，导入数据后用SQL查询：

import sqlite3
import pandas as pd

# 创建内存SQLite数据库
conn = sqlite3.connect(':memory:')

# 将字典列表转成DataFrame后导入临时表
df_from_list = pd.DataFrame(data)
df_from_list.to_sql('student_data', conn, index=False)

# 执行SQL查询
cursor = conn.cursor()
cursor.execute("""
    SELECT class, COUNT(*) AS student_num
    FROM student_data
    WHERE grade = '高三'
    GROUP BY class
""")
result = cursor.fetchall()

# 关闭连接
conn.close()

三、内存中关联多个数据集 #

不管是多个DataFrame还是多个字典/列表，都能用SQL实现关联：

• 用pandasql的话，直接在SQL里JOIN多个DataFrame：

  # 假设df_attendance是考勤数据，df_scores是成绩数据
  combined_report = pysqldf("""
      SELECT 
          a.student_id,
          a.student_name,
          a.qualified_rate,
          s.math_score,
          s.english_score
      FROM df_attendance a
      JOIN df_scores s ON a.student_id = s.student_id
      WHERE a.qualified_rate < 90
      ORDER BY s.math_score DESC
  """)
  

• 用SQLite内存库的话，把多个数据集都导入成临时表，再执行JOIN查询即可。

四、核心注意事项 #

• 性能：15000行数据量极小，任何方式都不会有性能瓶颈；若数据量更大，优先用Pandas原生方法（比pandasql更快），或简化SQL里的GROUP BY、JOIN逻辑。
• 语法兼容：pandasql基于SQLite，和MySQL语法有细微差异（比如日期函数用DATE()而非DATE_FORMAT()），需注意适配。
• 数据类型：转换DataFrame或导入临时表时，确保日期、数值等字段类型正确，避免查询时出现类型错误。

内容的提问来源于stack exchange，提问作者Dereje Ambatchew