如何让pandas.read_sql_query忽略源数据库列datetime类型以规避日期错误

方案1：修改ODBC连接字符串，强制日期列以字符串返回 #

你的Pervasive SQL驱动可能会自动将日期类型列转换为Python datetime对象，导致pandas还未处理就触发解析错误。可以在ODBC连接字符串中添加参数，让驱动直接返回字符串格式的日期：

假设你用pyodbc创建连接，修改连接字符串如下：

cnxn_str = (
    "DRIVER={Pervasive ODBC Client Interface};"
    "SERVER=你的服务器地址;"
    "DBQ=你的数据库路径;"
    "DateAsChar=Yes;"  # 关键参数：强制日期列返回字符串
    "UID=用户名;"
    "PWD=密码;"
)
cnxn = pyodbc.connect(cnxn_str)

# 执行原查询，此时dtype参数可生效
query = 'SELECT troubledDateCol FROM table'
data = pd.read_sql_query(query, cnxn, dtype={'troubledDateCol': pd.StringDtype()})

Pervasive的ODBC驱动普遍支持DateAsChar参数，开启后所有日期类型列会以字符串形式返回，从根源避开日期解析错误。

方案2：分块读取并跳过错误行 #

如果修改连接字符串无效，可尝试分批次读取数据，捕获每一批的错误并跳过异常行：

query = 'SELECT * FROM table'
chunk_size = 1000  # 根据数据量调整分块大小
data_frames = []

for chunk in pd.read_sql_query(query, cnxn, chunksize=chunk_size):
    try:
        data_frames.append(chunk)
    except ValueError as e:
        if "month must be in 1..12" in str(e):
            print(f"跳过存在日期错误的分块：{e}")
        else:
            raise  # 非目标错误重新抛出

# 合并所有正常分块
data = pd.concat(data_frames, ignore_index=True)

若需要更精细的行级筛选，可直接用pyodbc逐行读取处理：

cursor = cnxn.cursor()
cursor.execute(query)

# 获取列名
columns = [desc[0] for desc in cursor.description]
rows = []

for row in cursor:
    try:
        row_data = list(row)
        # 手动将目标列转为字符串
        date_idx = columns.index('troubledDateCol')
        row_data[date_idx] = str(row_data[date_idx])
        rows.append(row_data)
    except ValueError as e:
        if "month must be in 1..12" in str(e):
            print(f"跳过含无效日期的行：{row}")
        else:
            raise

# 转换为DataFrame
data = pd.DataFrame(rows, columns=columns)

方案3：使用pandas的converters参数替代parse_dates #

converters参数会在数据读取后立即执行列转换，可能避开驱动层面的日期解析：

def safe_date_convert(value):
    try:
        return str(value)  # 直接转为字符串
    except:
        return value  # 保留原始值

query = 'SELECT troubledDateCol FROM table'
data = pd.read_sql_query(query, cnxn, converters={'troubledDateCol': safe_date_convert})

注意：如果驱动已将异常日期转换为无效的datetime对象，此方法可能仍触发错误，优先尝试方案1。

内容的提问来源于stack exchange，提问作者RobD