Pandas调用read_sql_query查询数据时首行被识别为列名问题求助

• 依赖包版本变更：pandas、SQLAlchemy或对应数据库连接驱动近期完成升级，新版本对SQL结果集的元数据解析逻辑发生变化，误将结果集第一行业务数据识别为字段元数据，作为DataFrame的列名使用
• 目标表配置变更：若查询的是映射外部文件的外部表（如Hive、SparkSQL的CSV外表），大概率是表的序列化配置被修改，原本跳过表头行的配置被关闭，导致原文件表头被识别为表的第一行数据，同时覆盖了原有的字段元数据
• 上游表结构变更：目标表被重建，原本的字段名被删除，替换为了通用占位符字段名，原有字段名被作为第一行数据插入到表中

临时修复（无需修改上游配置） #

如果需要快速恢复业务，直接调整读取逻辑即可，既不会丢失第一行数据，也可以自定义列名：

# 1. 正常读取SQL结果，此时列名为第一行业务数据，数据部分从第二行开始
data = pd.read_sql_query(f'select * from {db}.{table}', con=self.engine)
# 2. 将当前列名转为DataFrame的第一行数据
first_row = pd.DataFrame([data.columns.tolist()], columns=data.columns)
data = pd.concat([first_row, data], ignore_index=True)
# 3. 替换为你需要的自定义列名即可，根据实际字段数量调整列表内容
data.columns = ['列名1', '列名2', '列名3']

根治方案 #

• 回退依赖版本：确认此前正常运行时的pandas、SQLAlchemy、数据库连接驱动版本，回退到对应版本即可恢复原有逻辑
• 修复表配置：如果是外部表配置问题，修改表的序列化参数，开启跳过表头行的配置，保证SQL返回的元数据字段名正确
• 显式指定查询字段：修改SQL查询语句，不再使用select *，而是显式写出需要查询的字段名，规避元数据解析错误的问题

内容的提问来源于stack exchange，提问作者Tsinling