SQLLOADER加载4209条数据耗时20分钟 性能异常原因排查求助

问题原因分析 #

• 字段缓冲区过度分配：默认情况下SQLLOADER读取字符字段的最大长度为255字节，你为Col13指定char(4000)后，SQLLOADER会为每条记录的Col13字段预先分配4000字节的内存缓冲区，24个varchar2(4000)字段的单条记录缓冲区最高可达96KB，远高于默认配置，内存占用和扫描开销大幅上升。
• 闭合符扫描成本升高：你的配置启用了optionally enclosed by '"'，SQLLOADER需要逐字符扫描字段内容匹配闭合双引号，字段最大长度从255提升到4000后，单字段扫描耗时直接翻了十几倍，大字段越多耗时越长。
• 直接路径加载参数未适配：你启用了DIRECT=TRUE但没有配套调整读取缓冲区、行批大小等参数，默认的缓冲区大小不足以支撑大字段批量加载，会产生频繁的磁盘IO交互，进一步拖慢速度。
• 字段级判断的额外开销：nullif Col13=BLANKS的逐行判断逻辑在大字段场景下会产生额外的计算开销，叠加大量数据的扫描操作，耗时被进一步放大。

优化建议 #

1. 调整字段长度配置：先统计CSV文件中Col13的实际最大长度，将控制文件中Col13的char(4000)替换为实际最大长度（例如实际最大为1200就设为char(1200)），避免无意义的缓冲区分配和内容扫描。如果允许超长内容截断，可追加truncate参数避免长度报错：Col13 char(1200) nullif Col13=BLANKS truncate,。
2. 优化加载参数配置：在控制文件的options块中追加缓冲区、批大小相关参数，适配大字段加载场景：

options (
    skip = 2,
    DIRECT = TRUE,
    READSIZE = 10485760,
    BINDSIZE = 10485760,
    ROWS = 1000,
    UNRECOVERABLE,
    SKIP_INDEX_MAINTENANCE = TRUE
)

参数说明：

• READSIZE/BINDSIZE：设置读取缓冲区和绑定缓冲区为10MB，可根据实际服务器内存调整到更大值
• ROWS：设置每1000行批量写入数据段，减少单次内存开销
• UNRECOVERABLE：关闭重做日志生成，大幅提升直接路径加载速度，加载完成后建议手动备份表数据
• SKIP_INDEX_MAINTENANCE：跳过加载过程中的索引维护，加载完成后手动重建索引即可

3. 优化字段解析逻辑：如果CSV中除了字段首尾外没有额外的双引号，可在optionally enclosed by '"'后追加ESCAPE BY '"'明确转义规则，减少闭合符匹配的扫描开销；如果字段内不包含逗号分隔符，可直接去掉optionally enclosed by '"'配置，进一步降低解析成本。
4. 禁用无关约束和索引：加载前先禁用目标表的外键、唯一约束等校验规则，删除非必要索引，加载完成后再重新启用和重建，避免加载过程中的逐行校验开销。
5. 对齐字符集配置：确认SQLLOADER客户端的NLS_LANG字符集参数和Oracle数据库服务端的字符集完全一致，避免大字段加载过程中的字符集转换开销。

内容的提问来源于stack exchange，提问作者Vicky