使用pandas.to_sql向PostgreSQL导入数据时method='multi'性能骤降是否正常？

这种性能下降的现象在PostgreSQL中是正常的，核心原因并非数据列数，而是method="multi"的实现逻辑与PostgreSQL的特性不匹配，具体分析如下：

• method="multi"的性能瓶颈
  该参数会将每个chunk的多行数据拼接成单条INSERT INTO ... VALUES (...), (...), (...)语句。但PostgreSQL对单条SQL语句的长度、VALUES子句的行数存在隐性限制（受max_query_length等参数影响），同时解析、优化大体积SQL语句的开销会随行数增加呈指数级上升。哪怕是10列的数据，当chunk_size达到几千行时，生成的SQL语句会异常庞大，数据库处理的额外开销远超过批量插入带来的收益，最终导致性能比默认方式低5-6倍。

• 默认方法的隐性优势
  pandas默认的method=None实际调用的是DBAPI驱动（psycopg2）的executemany方法，而psycopg2针对PostgreSQL做了专属优化：它会自动将批量请求拆分为数据库最优的小批量INSERT，甚至在底层复用绑定变量、减少语句解析次数，整体效率远高于手动拼接多值INSERT的方式。

• 调小chunk_size无效的原因
  即便将chunk_size降至100，method="multi"依然会生成包含100个VALUES的单条INSERT语句，而PostgreSQL解析这类语句的开销，加上拼语句本身的字符串处理成本，依然高于psycopg2executemany对小批量请求的优化处理，因此性能没有明显改善。

• 针对PostgreSQL的最优导入方案

  1. 优先使用默认的method=None，配合合适的chunk_size（建议1万-5万，根据本地内存调整），无需额外设置method="multi"。
  2. 千万级数据追求极致性能时，直接使用PostgreSQL的COPY FROM命令：可以先将pandas数据导出为CSV文件，再通过psycopg2.copy_expert执行COPY操作，这是批量导入PostgreSQL最快的方式。

内容的提问来源于stack exchange，提问作者Courvoisier