Pandas to_sql操作Oracle成功建表但未插入数据问题咨询

• 字段自动转CLOB：pandas处理Oracle数据类型映射时，默认将DataFrame的object类型（字符串存储列）映射为Oracle的CLOB大文本类型，不会主动识别字符串长度转为VARCHAR类型，这是pandas兼容多数据库的通用逻辑导致的。
• 无数据插入：两个核心原因，一是CLOB类型在cx_Oracle驱动下的批量插入参数绑定存在兼容性问题，会导致插入动作执行失败但未抛出明确异常；二是pandas、SQLAlchemy、cx_Oracle三者版本不匹配时，to_sql的事务自动提交逻辑失效，表创建完成后插入的数据集未被提交直接回滚。

1. 明确指定字段类型避免CLOB转换 #

通过to_sql的dtype参数主动指定字符串列映射为Oracle的VARCHAR2类型，提前规避CLOB带来的插入问题，示例代码如下：

from sqlalchemy.dialects.oracle import VARCHAR2
# 按需调整VARCHAR2的长度，适配实际业务中字符串的最大长度
dtype_map = {col: VARCHAR2(1024) for col in df.select_dtypes(include='object').columns}

df.to_sql(
    name='pandas_registrations', 
    con=engine, 
    if_exists='replace', 
    chunksize=1000, 
    schema='ANALYTICS', 
    dtype=dtype_map,
    method=None
)

2. 修复数据插入逻辑 #

• 版本适配：确保三方依赖版本满足兼容性要求：pandas ≥ 1.4.0，SQLAlchemy ≥ 1.4.0，cx_Oracle ≥ 8.0.0
• 开启自动提交：创建引擎时添加自动提交参数，避免事务未提交导致数据回滚：

engine = create_engine(
    'oracle+cx_oracle://user:password@host:1521/?service_name=myservice', 
    max_identifier_length=128,
    execution_options={"autocommit": True}
)

• 批量插入优化：如果调整后仍然插入失败，可将method参数修改为multi开启批量值插入，或降低chunksize的数值减少单次插入的数据量。

内容的提问来源于stack exchange，提问作者smackenzie