Pandas读取CSV导入PostgreSQL：日期与编码异常求助

嘿，看起来你在导入包含土耳其语、德语字符的CSV到UTF-8编码的PostgreSQL时，碰到了两个棘手的问题：日期格式明明在Python里显示正确，导入后却反转；还有编码相关的报错。我来帮你一步步拆解解决：

一、先搞定最头疼的日期格式反转问题 #

你的核心问题出在日期转换时没明确指定原格式，pd.to_datetime的自动推断在日和月都小于13的时候很容易搞混（比如02.03.1983，它可能默认当成日.月.年来解析），虽然Python终端里看着是yyyy-mm-dd，但实际生成的对象在导入PostgreSQL时被错误解析了。

修复方法：用矢量化操作替代逐行循环，明确指定原格式 #

别再用iterrows()逐行处理了，不仅慢还容易出错，直接用Pandas的矢量化操作：

# 替换你原来的日期处理循环
for col in date_cols:
    if col in df.columns:
        # 关键：告诉Pandas原日期是「月.日.年」格式，彻底避免推断错误
        df[col] = pd.to_datetime(df[col], format='%m.%d.%Y', errors='coerce')
        # 处理超出PostgreSQL日期范围的数值
        max_valid_date = pd.Timestamp.max.floor('D')  # 取最大日期的当天，避免时间部分干扰
        # 把超出范围的日期替换成最大值，空值也可以按需处理
        df[col] = df[col].where(df[col] <= max_valid_date, max_valid_date)

为什么这能解决问题？

• 明确format='%m.%d.%Y'强制解析规则，不会再把月和日搞混；
• 保持datetime对象而非手动转字符串，psycopg2会直接把它转换成PostgreSQL的date类型，完全没有格式歧义。

二、搞定土耳其语/德语字符的编码问题 #

你的数据库是UTF-8编码，CSV是ISO 8859-9（土耳其语专用编码），只要读取CSV时指定正确编码，剩下的Pandas和psycopg2会自动帮你转成UTF-8导入数据库。

正确的CSV读取方式： #

df = pd.read_csv(filename, encoding='ISO-8859-9', sep=';', header=0)

别再用sys.setdefaultencoding("utf-8")了——这个操作在Python2里会破坏默认编码环境，Python3里早就移除了，完全没必要。Pandas读取时指定encoding='ISO-8859-9'后，内部会自动把字符转成Unicode（Python2）或UTF-8（Python3），导入时psycopg2会自动适配数据库的UTF-8编码。

三、优化你的代码，避开那些坑 #

你的原代码还有几个可以优化的地方，避免后续踩坑：

• ix已经被弃用：Pandas 0.20版本之后就移除了ix，改用loc（按列名/行标签）或iloc（按位置索引）；
• 逐行循环效率极低：大数据集下，矢量化操作比iterrows()快几十倍甚至上百倍；
• 重复导入模块：多次导入datetime和date是冗余的，删掉就行；
• 别手动转日期字符串：保持datetime对象是和数据库交互的最佳实践，手动转字符串容易引入格式错误。

优化后的完整代码片段（适配Python2）： #

# -*- coding: utf-8-sig -*-
import sys
import pandas as pd
import datetime
from sqlalchemy import insert  # 假设你用的是SQLAlchemy来操作数据库

# 读取ISO 8859-9编码的CSV文件
df = pd.read_csv(filename, encoding='ISO-8859-9', sep=';', header=0)

# 定义需要处理的日期列（替换成你实际的列名）
date_cols = ['出生日期', '注册日期']
max_valid_date = pd.Timestamp.max.floor('D')

# 批量处理日期列
for col in date_cols:
    if col in df.columns:
        # 按指定格式转换为datetime对象
        df[col] = pd.to_datetime(df[col], format='%m.%d.%Y', errors='coerce')
        # 处理空值和超出范围的日期
        df[col] = df[col].fillna(max_valid_date)
        df[col] = df[col].where(df[col] <= max_valid_date, max_valid_date)

# 转换为字典并批量导入数据库
dict_items = df.to_dict(orient='records')
connection.execute(insert(table), dict_items)

四、几个验证排查小技巧 #

1. 检查日期转换结果：转换后可以用print(df[col].dt.strftime('%Y-%m-%d'))查看字符串格式，确认是年-月-日；
2. 查看PostgreSQL日志：如果还报错，去PostgreSQL的日志文件里找更详细的错误信息，能帮你定位到具体是哪行数据出问题；
3. 测试单条数据：先取一行数据转成字典，手动执行connection.execute(insert(table), [single_row])，排查是否是特定行的异常值导致的。

内容的提问来源于stack exchange，提问作者OAK