使用Python pandas向MySQL插入数据时自动创建不存在列的方案咨询

分两类常见场景给出落地实现，按需选择即可：

场景1：不需要保留MySQL表不存在的字段，直接插入匹配字段 #

这是改动最小的方案，无需修改原表结构，提前捞出库表现有字段、过滤df多余字段后再调用to_sql就能解决问题：

from sqlalchemy import inspect
# 反射获取MySQL test表的现有字段
inspector = inspect(engine)
table_columns = [col['name'] for col in inspector.get_columns('test')]

# 只保留df和表共有的字段
df_filtered = df[df.columns.intersection(table_columns)]

# 插入不会再报字段不存在的错误
df_filtered.to_sql(name="test", con=engine, if_exists="append", index=False)

场景2：需要将df新增字段同步到MySQL表结构后插入 #

就是你原有思路的自动化实现，不需要手动对比加字段，代码自动完成字段校验、新增列操作：

from sqlalchemy import inspect, text
import pandas as pd

inspector = inspect(engine)
table_columns = [col['name'] for col in inspector.get_columns('test')]
# 筛选出df中存在但表中不存在的新字段
new_columns = df.columns.difference(table_columns).tolist()

if new_columns:
    # pandas dtype到MySQL字段类型的映射，可根据实际需求调整
    dtype_map = {
        'int64': 'BIGINT',
        'float64': 'DOUBLE',
        'object': 'TEXT',
        'datetime64[ns]': 'DATETIME',
        'bool': 'TINYINT(1)'
    }
    # 拼接修改表结构的SQL
    alter_sql = "ALTER TABLE test "
    add_cols = []
    for col in new_columns:
        col_type = str(df[col].dtype)
        mysql_type = dtype_map.get(col_type, 'TEXT') # 未知类型默认用TEXT存储
        add_cols.append(f"ADD COLUMN `{col}` {mysql_type} NULL")
    alter_sql += ', '.join(add_cols)
    # 执行修改表结构操作
    with engine.connect() as conn:
        conn.execute(text(alter_sql))
        conn.commit()

# 表结构同步完成后再插入全量数据
df.to_sql(name="test", con=engine, if_exists="append", index=False)

*如果对字段精度要求高，可自行调整dtype_map的映射规则，比如定长字符串可以调整为VARCHAR(指定长度)类型。

内容的提问来源于stack exchange，提问作者Cambridge Lv