使用fast_executemany推送小型DataFrame至SQL Server时为何出现内存错误?
加速DataFrame推送至SQL Server的踩坑经历
我之前一直在琢磨怎么提速Pandas DataFrame推送到SQL Server的过程,偶然挖到了一个速度快到离谱的方案——给大家看个实测对比:
- 推送10万行×100列的DataFrame,常规的
df.to_sql()方法居然耗时近2小时 - 用这个新方案,同样的数据只花了12.54秒
最开始我用一个简单的样本DataFrame测试,全程顺畅,完全没毛病。可当我换成包含int、string、float、Boolean等多种混合数据类型的真实业务DataFrame时,突然就触发了内存错误。没办法,我只能开始逐步缩小DataFrame的规模,一点点排查到底是哪部分出了问题……
内容的提问来源于stack exchange,提问作者CandleWax
相关产品推荐
相关产品推荐

