Oracle记录类型CLOB属性Python更新耗时排查及优化咨询

需要用Python代码更新自定义记录类型CLOB_REC_OBJECT的CLOB属性，将40000条CLOB数据更新到对应对象中。当前存在以下性能问题：

• 单条对象的CLOB_CONTENT属性更新耗时约0.5秒，4万条总计耗时3-4小时；仅更新REC_ID属性时几秒即可完成
• 相同代码在本地Docker部署的Oracle环境仅需约16秒，AWS托管Oracle环境出现性能问题，但Java代码在该AWS环境运行正常（排除网络问题）

环境信息：Python 3.12、oracledb 19.3

创建记录类型的SQL脚本 #

create TYPE CLOB_REC_OBJECT as OBJECT(
   REC_ID NUMBER,
   CLOB_CONTENT CLOB
);

现有Python代码 #

import os
import time

import numpy as np
import oracledb
import pandas as pd


dsn = "localhost:1521/ORCLCDB"
username = "SYS"
password = "mypassword1"

try:
    instant_client_dir = os.path.join(os.environ.get("HOME"), "Documents", "OracleDB/instantclient_23_3")
    oracledb.init_oracle_client(lib_dir=instant_client_dir)

    num_objects = 40000
    data = {
        'long_string_column': [f"This is a very long string example for row {i}. It can contain various characters and be quite lengthy to simulate real-world data scenarios." * 5 for i in range(num_objects)],
        'numeric_column': np.random.randint(1000, 100000, size=num_objects)
    }

    df = pd.DataFrame(data)

    conn = oracledb.connect(user=username, password=password, dsn=dsn, mode=oracledb.SYSDBA)
    print("Connected to Oracle Database (CDB Root) using Thin Client successfully!")

    cursor = conn.cursor()
    my_objects_list = []
    rec_type = conn.gettype("CLOB_REC_OBJECT")

    rec_list = [rec_type.newobject() for _ in range(num_objects)]

    start_time = time.time()

    for row in df.itertuples():
        new_obj = rec_list[row[0]]
        setattr(new_obj, 'REC_ID', i)
        setattr(new_obj, 'CLOB_CONTENT', f"Name_{i}"*4000)
        my_objects_list.append(new_obj)

    end_time = time.time()

    print(f"Time taken to create objects and set attributes with setattr(): {end_time - start_time:.4f} seconds")
    print(f"Number of objects in the list: {len(my_objects_list)}")

except oracledb.Error as e:
    error_obj, = e.args
    print(f"Error connecting to Oracle Database: {error_obj.message}")
finally:
    if 'cursor' in locals() and cursor:
        cursor.close()
    if 'conn' in locals() and conn:
        conn.close()

• 客户端与服务端版本不匹配：使用的instantclient是23.3，而Oracle服务端是19.3，跨大版本的客户端可能在CLOB类型处理上存在兼容性开销，尤其是Thin驱动对旧版本服务端的CLOB序列化逻辑效率较低。
• Thin驱动的CLOB处理机制：oracledb的Thin驱动在处理CLOB属性赋值时，可能会对每条数据即时进行网络传输或序列化操作（而非批量缓冲），AWS环境下的网络链路特性（如延迟抖动）放大了单条操作的耗时。Java驱动可能采用了更高效的批量CLOB写入或缓冲机制，规避了单条操作的性能损耗。
• 逐对象赋值的累积开销：循环中使用setattr为CLOB属性赋值，每次赋值都触发对象内部的CLOB序列化逻辑，4万次循环的累积开销被AWS环境的延迟放大。本地环境网络延迟极低，所以此开销不明显。
• AWS Oracle特定配置影响：AWS RDS/Oracle可能开启了安全或审计特性，对CLOB这类大对象的单次写入增加了额外校验开销，Java驱动的批量处理方式规避了单条操作的重复校验，而Python代码的逐对象处理触发了多次校验。

1. 匹配客户端与服务端版本 #

将instantclient版本降级为19.3（与服务端版本一致），避免跨版本兼容性带来的性能损耗。修改初始化代码中的instantclient_23_3为instantclient_19_3，确保客户端与服务端版本匹配。

2. 改用批量绑定+数组操作 #

避免逐对象创建和赋值，直接使用数组绑定方式批量处理数据，减少网络交互次数：

import os
import time

import numpy as np
import oracledb

dsn = "your-aws-oracle-dsn"
username = "SYS"
password = "your-password"

try:
    # 使用与服务端匹配的instantclient版本
    instant_client_dir = os.path.join(os.environ.get("HOME"), "Documents", "OracleDB/instantclient_19_3")
    oracledb.init_oracle_client(lib_dir=instant_client_dir)

    num_objects = 40000
    # 准备批量数据
    rec_ids = np.random.randint(1000, 100000, size=num_objects)
    clob_contents = [f"Name_{i}"*4000 for i in range(num_objects)]

    conn = oracledb.connect(user=username, password=password, dsn=dsn, mode=oracledb.SYSDBA)
    print("Connected successfully!")

    cursor = conn.cursor()
    rec_type = conn.gettype("CLOB_REC_OBJECT")

    # 批量创建对象并赋值
    start_time = time.time()
    objects_array = rec_type.newarray(num_objects)
    for idx in range(num_objects):
        obj = rec_type.newobject()
        obj.REC_ID = rec_ids[idx]
        obj.CLOB_CONTENT = clob_contents[idx]
        objects_array[idx] = obj

    # 若需插入表中，执行批量插入（假设表名为CLOB_REC_TABLE，列名为REC_COL）
    # cursor.execute("INSERT INTO CLOB_REC_TABLE (REC_COL) VALUES (:1)", objects_array)
    # conn.commit()

    end_time = time.time()
    print(f"Time taken for batch object creation: {end_time - start_time:.4f} seconds")
    print(f"Number of objects created: {len(objects_array)}")

except oracledb.Error as e:
    error_obj, = e.args
    print(f"Error: {error_obj.message}")
finally:
    if 'cursor' in locals() and cursor:
        cursor.close()
    if 'conn' in locals() and conn:
        conn.close()

3. 启用厚驱动模式 #

oracledb的厚驱动（基于OCI）在处理大对象时性能通常优于Thin驱动，尤其是在旧版本Oracle服务端环境下。修改初始化代码启用厚驱动：

# 替换原init_oracle_client部分
oracledb.init_oracle_client(lib_dir=instant_client_dir, thick_mode=True)

4. 移除不必要的Pandas依赖 #

原代码中使用Pandas的itertuples循环增加了额外开销，直接使用Python原生列表循环，减少中间环节的性能损耗。

内容的提问来源于stack exchange，提问作者omkar kothiwale