基于SQL查询将CSV的display_name替换为column_name的实现方案

实现方案 #

你可以通过以下三步完成表头批量替换，全程只需要查询一次数据库，效率远高于逐行查询：

1. 读取CSV并提取展示名列表

先读取CSV文件，此时DataFrame的列名就是所有需要转换的display_name：

import pandas as pd
from sqlalchemy import create_engine, text

# 初始化数据库连接
engine = create_engine("你的数据库连接字符串")
# 读取CSV
df = pd.read_csv("目标文件路径.csv")
# 提取所有待匹配的展示名
display_names = df.columns.tolist()

2. 批量查询映射关系

用参数化查询一次性拿到所有展示名对应的数据库列名，避免SQL注入和多次数据库IO：

# 构造参数化查询的占位符
placeholders = ", ".join([f":dname_{i}" for i in range(len(display_names))])
query_sql = text(f"""
SELECT display_name, column_name 
FROM table2 
WHERE display_name IN ({placeholders})
""")
# 组装查询参数
query_params = {f"dname_{i}": name for i, name in enumerate(display_names)}

# 执行查询生成映射字典
with engine.connect() as conn:
    res = conn.execute(query_sql, query_params)
    name_mapping = {row["display_name"]: row["column_name"] for row in res.mappings()}

3. 替换表头并写入数据库

# 可选校验：检查是否有展示名未匹配到对应列名
missing_names = [n for n in display_names if n not in name_mapping]
if missing_names:
    raise ValueError(f"以下展示名未在table2中找到匹配的列名：{missing_names}")

# 替换DataFrame列名
df = df.rename(columns=name_mapping)

# 写入目标数据库表
df.to_sql("table", engine, if_exists="append", index=False)

大文件优化 #

如果你的CSV文件体积很大，可以先只读取表头查询映射关系，再全量读取文件时直接指定替换后的列名，减少内存占用：

# 仅读取第一行表头
with open("目标文件路径.csv", "r", encoding="utf-8") as f:
    display_names = f.readline().strip().split(",")

# 此处复用上面的映射查询逻辑拿到name_mapping

# 全量读取时直接替换表头
df = pd.read_csv("目标文件路径.csv", header=0, names=[name_mapping[n] for n in display_names])

内容的提问来源于stack exchange，提问作者max