CSV导入Pandas及数据库时的日期格式与编码问题

嘿，看你遇到的这个日期格式报错，我之前也帮不少开发者处理过类似情况——核心问题是CSV里的短日期（10-01-18）被Pandas自动解析成了带时分秒的完整日期（2018-01-10 00:00:00.000），但数据库端的日期字段要求是%d.%m.%y（比如10.01.18）格式，两边对不上就报错了。下面是具体的解决步骤：

1. 先管住Pandas的自动日期解析 #

默认情况下Pandas会“自作主张”识别日期格式，但它经常把10-01-18这种日-月-两位年的格式，解析成年-月-日的完整datetime类型，这就和数据库要的格式差远了。咱们读取CSV时直接指定日期格式，把它“掰回正轨”：

import pandas as pd

# 假设你的日期列叫'date'，替换成你实际的列名即可
df = pd.read_csv('你的文件.csv', parse_dates=['date'], date_format='%d-%m-%y')

这样读取后，日期列会被正确解析为Pandas的datetime对象，而且是严格按照你指定的日-月-两位年规则来的。

2. 把日期转成数据库要的格式 #

接下来要把datetime对象转换成数据库期望的格式：

• 如果数据库的日期字段是字符串类型，要求%d.%m.%y（比如10.01.18），直接用strftime转就行：

# 把datetime列转成数据库需要的字符串格式
df['date'] = df['date'].dt.strftime('%d.%m.%y')

• 如果数据库用的是DATE或DATETIME类型，不用转成字符串，只要保证Pandas里的日期列是datetime类型即可——比如用SQLAlchemy连接数据库时，它会自动处理类型映射。

3. 排查CSV里的隐藏格式问题 #

有时候CSV里可能藏着混合的日期格式（比如大部分是10-01-18，突然冒出来一行2018-01-10），这会让Pandas的解析混乱。你可以先检查一下日期列的所有值，看看有没有异常：

# 打印日期列的所有唯一值，快速排查格式是否统一
print(df['date'].unique())

如果发现有格式不一致的行，用pd.to_datetime的errors='coerce'参数把解析失败的行转成NaT（Not a Time），然后单独处理这些异常值：

df['date'] = pd.to_datetime(df['date'], format='%d-%m-%y', errors='coerce')
# 找出解析失败的行，针对性处理
print(df[df['date'].isna()])

4. 确认数据库字段的类型 #

最后别忘了检查数据库那边的日期字段类型：

• 如果是DATE类型，只需要纯日期（比如2018-01-10），不需要时分秒
• 如果是DATETIME类型，可能需要完整的YYYY-MM-DD HH:MM:SS格式
• 如果是字符串类型，就必须严格匹配%d.%m.%y的格式

根据数据库的字段类型调整Pandas里的处理方式，基本上就能解决这个报错了。

内容的提问来源于stack exchange，提问作者OAK