如何快速将Oracle表数据导出为CSV文件并降低导出耗时

你的需求完全可实现，核心是通过无重叠的分片规则划分数据范围，多个sqlplus进程并行处理，不会出现重复行。

推荐两种无重复分片逻辑 #

两种分片方式均能保证数据无重复、无遗漏，不会出现数据错乱

• 主键模运算分片（适合有数值型非空唯一键的表）：按MOD(主键列, 并行进程数)划分数据范围，每一行的计算结果唯一对应一个进程，实现简单不易出错。
• ROWID范围分片（适合无合适主键的大表）：按表的物理存储extent划分ROWID区间，每个进程处理一段ROWID范围，避免逻辑扫描开销，IO效率更高。

并行导出shell示例（主键模运算方案） #

#!/bin/bash
# 导出配置
DB_CONN="username/passwd@orcl" # 数据库连接串
TARGET_TABLE="your_table"      # 待导出表名
QUERY_FILTER="WHERE create_time >= DATE'2024-01-01'" # 你的查询谓词
PARALLEL_WORKERS=4             # 并行数，建议不超过数据库可用CPU核心的1/2
PART_FILE_PREFIX="./export_part"
FULL_OUTPUT="./full_export.csv"

# 可选：单独导出表头（只需执行一次）
sqlplus -S ${DB_CONN} << EOF > ${FULL_OUTPUT}
SET HEADING ON FEEDBACK OFF TERMOUT OFF TRIMSPOOL ON PAGESIZE 0
SELECT * FROM ${TARGET_TABLE} WHERE ROWNUM =1;
EXIT
EOF

# 并行启动各分片导出进程
for part_id in $(seq 0 $((PARALLEL_WORKERS-1))); do
{
  sqlplus -S ${DB_CONN} << EOF > ${PART_FILE_PREFIX}_${part_id}.csv
SET HEADING OFF FEEDBACK OFF TERMOUT OFF TRIMSPOOL ON PAGESIZE 0 COLSEP ',' ARRAYSIZE 1000
SELECT /*+ parallel(${PARALLEL_WORKERS}) */ * FROM ${TARGET_TABLE} 
${QUERY_FILTER} AND MOD(your_primary_key, ${PARALLEL_WORKERS}) = ${part_id};
EXIT
EOF
} &
done

# 等待所有导出进程完成
wait

# 合并所有分片文件到最终输出
cat ${PART_FILE_PREFIX}_*.csv >> ${FULL_OUTPUT}

# 清理临时分片文件
rm -f ${PART_FILE_PREFIX}_*.csv

• 调高sqlplus的ARRAYSIZE参数：设置为500~1000可以大幅减少网络交互次数，导出速度可提升30%以上
• 数据库端开启并行查询：在SELECT语句中加入/*+ parallel(N) */提示，让Oracle并行执行查询逻辑
• 优先在数据库本地执行导出：避免跨网络传输的带宽瓶颈，速度提升明显
• 替换导出工具：如果允许使用Oracle原生工具，expdp并行导出后再转CSV的效率是sqlplus的2~3倍，适合超大数据量场景
• 减少数据库端计算：如果查询中有函数转换、列拼接等操作，尽量放到导出后用shell/awk处理，降低数据库CPU开销

内容的提问来源于stack exchange，提问作者sqlpractice