pandas to_csv导出文件使用psycopg2 copy_from导入Postgres报错问题

问题根因 #

1. CSV数值格式异常的来源 #

你从外部函数获取的DataFrame中，对应PostgreSQL INT类型的列dtype为float64：pandas中int类型列无法存储空值(NaN)，如果该列在外部处理过程中出现过空值，会自动向上转型为浮点型。调用df.to_csv()时，pandas会将该列所有整数值序列化为带.0后缀的浮点格式，比如-1会被存为-1.0。
你用LibreOffice打开CSV再手动保存时，软件会自动识别纯整数的浮点值，保存时自动剔除.0后缀，因此修复了格式问题。同文件内处理的DataFrame不会出现该问题，是因为对应列全程无空值，始终保持int dtype，导出CSV时不会带.0后缀。

2. 原生COPY与psycopg2 copy_from的行为差异 #

PostgreSQL原生COPY语句默认如果指定了CSV格式，会对输入值做宽松的隐式类型转换，字符串形式的-1.0可以被自动转为INT类型；但psycopg2的cursor.copy_from()方法默认使用文本格式导入，该模式下不会对带小数点的数值做INT隐式转换，因此触发类型错误。 #

解决方案 #

方案1：导出CSV前修复列类型 #

处理掉目标列的空值后强制转为int类型，导出时就不会出现.0后缀：

# 替换target_col为你实际的目标列名
df['target_col'] = df['target_col'].fillna(0).astype(int)
df.to_csv('filepath.csv', na_rep="0", index=False)

方案2：改用copy_expert对齐原生COPY行为 #

直接使用psycopg2提供的copy_expert方法，执行和原生规则完全一致的COPY语句，无需修改CSV文件：

try:
    connect = psycopg2.connect(database = "", user = "", password = "", host = "", port = "")  
except:
    print("Could not connect to database")
cursor = connect.cursor()
with open("filepath.csv", 'r') as open_csv:
    next(open_csv)
    try:
        # 替换your_table为实际表名
        cursor.copy_expert("COPY your_table FROM STDIN WITH (FORMAT csv, DELIMITER ',')", open_csv)
        connect.commit()
        print("Copy Complete")
    except Exception as e:
        # 建议加上异常打印方便后续调试
        print("Copy Error", str(e))
    cursor.close()
connect.close()

内容的提问来源于stack exchange，提问作者anon06373