You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

Pandas DataFrame.to_sql写入PostgreSQL时随机无报错静默失败问题求助

Pandas DataFrame.to_sql写入PostgreSQL时随机无报错静默失败问题求助

我最近碰到一个非常棘手的问题:用Pandas的to_sql方法往PostgreSQL数据库写入多个格式完全一致的DataFrame时,部分DataFrame会随机出现写入失败的情况,而且这个过程完全静默,没有任何报错提示,to_sql的返回值是-1(明确表示写入失败)。

我已经排除了一些已知的可能原因:

  • 我没有使用自定义schema,所以相关的schema问题应该不成立
  • 我用的是PostgreSQL,不是SQL Server,所以针对SQL Server的类似问题也不适用

最让我困惑的是,同样的代码、同样格式的DataFrame,有的能正常写入数据库,有的就不行,完全找不到规律。

我的代码如下:

from sqlalchemy import create_engine, inspect, DateTime
import psycopg
engine = create_engine('postgresql+psycopg://plantwatch:pw@127.0.0.1/plantwatch') 
df.to_sql('power', con=engine2, if_exists='append', index=False, dtype={'produced_at': DateTime})

举个例子,每个DataFrame对应一个id的数据,我预期写入后的数据库内容应该是这样:

produced_at             id          value
2015-01-01 00:00:00     someid      1
2015-01-01 01:00:00     someid      2
2015-01-01 00:00:00     someid2     1
2015-01-01 01:00:00     someid2     2

但实际数据库里只有部分数据:

produced_at             id          value
2015-01-01 00:00:00     someid      1
2015-01-01 01:00:00     someid      2

现在我能想到的一个很笨拙的临时解决办法是把所有DataFrame都导出成CSV文件,再逐个导入PostgreSQL,但这显然不是最优解。有没有朋友遇到过类似的问题?或者能给我一些排查方向?

备注:内容来源于stack exchange,提问作者dietzi96

火山引擎 最新活动