使用Pandas读取Oracle表时decimal.InvalidOperation错误排查

问题分析 #

虽然你提供的列数据示例看起来正常，但报错大概率是Oracle驱动（oracledb）在将QT_OC列的NUMERIC类型转换为Python decimal时，遇到了隐藏的无效值（如空格、非标准格式字符），或是Oracle列的精度/标度超出decimal模块的处理范围，导致Pandas读取时触发转换异常。

解决方案 #

1. SQL层面预处理列（最直接有效）

在查询时直接对QT_OC列做格式转换或异常值过滤，避免驱动层面的转换问题：

-- 方案1：转为带格式的字符串，读取后再转float
SELECT 
    TO_CHAR(QT_OC, 'FM9999999999999999.9999999999') AS QT_OC,
    -- 其他列...
FROM your_target_table;

-- 方案2：过滤并转换无效值，保留数值类型
SELECT 
    CASE 
        WHEN REGEXP_LIKE(QT_OC, '^-?\d+(\.\d+)?$') THEN TO_NUMBER(QT_OC)
        ELSE NULL  -- 可替换为0等默认值
    END AS QT_OC,
    -- 其他列...
FROM your_target_table;

执行上述查询后，再用pd.read_sql()读取结果，即可正常转换为float类型。

2. 自定义Oracledb类型转换器

绕过默认的decimal转换，直接将Oracle NUMERIC类型转为Python float：

import oracledb
import pandas as pd
from sqlalchemy import create_engine

# 自定义数值处理函数，捕获转换异常
def numeric_to_float(value):
    if value is None:
        return None
    try:
        return float(value)
    except (ValueError, TypeError):
        return None

# 注册类型处理器，覆盖Oracle NUMBER类型的默认转换
oracledb.defaults.settypehandler(oracledb.NUMBER, lambda cursor, val: numeric_to_float(val))

# 连接数据库并读取数据
engine = create_engine('oracle+oracledb://username:password@host:port/service_name')
df = pd.read_sql("SELECT * FROM your_target_table", engine)

3. 启用Oracledb的cx_Oracle兼容模式

如果是oracledb的新特性导致的转换冲突，切换到cx_Oracle兼容模式尝试：

import oracledb
import pandas as pd
from sqlalchemy import create_engine

# 初始化兼容模式
oracledb.defaults.setconfig({"mode": oracledb.MODE_CXORACLE})

# 正常读取数据
engine = create_engine('oracle+oracledb://username:password@host:port/service_name')
df = pd.read_sql("SELECT * FROM your_target_table", engine)

4. 分块读取并逐行处理

针对大数据量场景，分块读取后逐行强制转换QT_OC列：

import pandas as pd
from sqlalchemy import create_engine

engine = create_engine('oracle+oracledb://username:password@host:port/service_name')
chunk_size = 1000
df_chunks = []

for chunk in pd.read_sql("SELECT * FROM your_target_table", engine, chunksize=chunk_size):
    # 强制转换列，捕获异常值
    chunk['QT_OC'] = chunk['QT_OC'].apply(lambda x: float(x) if pd.notna(x) else None)
    df_chunks.append(chunk)

df = pd.concat(df_chunks, ignore_index=True)

排查验证 #

先在Oracle端检查QT_OC列是否存在无效值：

SELECT QT_OC 
FROM your_target_table 
WHERE NOT REGEXP_LIKE(QT_OC, '^-?\d+(\.\d+)?$');

该查询会返回所有不符合标准数值格式的数据（如含空格、逗号、特殊字符的记录），针对性修复后再读取即可避免异常。

内容的提问来源于stack exchange，提问作者mrlelis