如何将Python DataFrame数据插入分区SQL表？原代码适用于非分区表

当目标表为分区表时，df.to_sql()需要明确处理分区列才能完成数据插入，以下是几种实用方案：

方法1：确保DataFrame包含分区列，直接适配插入 #

如果你的DataFrame已经包含目标分区表的分区列（比如按create_date分区，DataFrame中存在该列），只需保证分区列值符合表的分区规则，同时可通过dtype参数明确列类型避免匹配错误：

from sqlalchemy import types

# 假设分区列是create_date，类型为DATE
dtype_mapping = {
    'create_date': types.DATE(),
    # 其他列按需指定对应SQL类型
}

df.to_sql(
    'my_table',
    engine,
    if_exists='append',
    method='multi',
    dtype=dtype_mapping
)

注意：分区列是必填项，DataFrame中必须存在该列且值有效，否则数据库会拒绝插入请求。

方法2：手动构造带分区指定的INSERT语句（复杂场景适配） #

若to_sql默认逻辑无法满足需求，可手动生成包含分区信息的INSERT语句，精准指定插入的分区：

# 假设分区表按year分区，本次插入2024年分区
target_partition = 2024
# 生成INSERT模板
insert_sql = f"""
INSERT INTO my_table PARTITION (p{target_partition})
({', '.join(df.columns)})
VALUES ({', '.join(['%s'] * len(df.columns))})
"""

# 批量执行插入
with engine.connect() as conn:
    conn.execute(insert_sql, df.values.tolist())
    conn.commit()

这种方式灵活性更高，适合跨分区插入、数据库对分区插入有特殊限制的场景。

方法3：用SQLAlchemy Core API精准控制插入逻辑 #

通过SQLAlchemy Core读取表结构（含分区信息），自动适配分区表的插入规则：

from sqlalchemy import Table, MetaData

metadata = MetaData()
# 加载目标表的结构信息
target_table = Table('my_table', metadata, autoload_with=engine)

# 构建插入语句并执行
insert_stmt = target_table.insert().values(df.to_dict('records'))

with engine.connect() as conn:
    conn.execute(insert_stmt)
    conn.commit()

此方法会自动匹配表的分区规则，前提是DataFrame的列与表结构完全一致。

内容的提问来源于stack exchange，提问作者Kris Edison