如何在Linux终端快速导出Oracle表中20亿条数据至CSV？

针对20亿条记录的Oracle表，以下是几种比SQL Developer高效得多的Linux终端导出方法：

1. SQL*Plus 批量导出（轻量直接） #

SQL*Plus是Oracle原生终端工具，无额外依赖，通过参数优化后能大幅提升导出速度，适合大表拆分导出。

基础导出脚本 #

创建export_csv.sql脚本：

-- 关闭冗余输出，优化性能
SET HEADING OFF FEEDBACK OFF PAGESIZE 0 LINESIZE 2000 TRIMSPOOL ON COLSEP ',' ECHO OFF
-- 指定输出文件
SPOOL /data/output/base_output.csv

-- 替换为你的目标列，建议显式指定列而非用*，避免格式异常
SELECT col1, col2, col3, TO_CHAR(date_col, 'YYYY-MM-DD HH24:MI:SS') -- 日期列需格式化
FROM your_target_table
-- 按需添加WHERE条件过滤目标行
;

SPOOL OFF
EXIT

终端执行命令：

sqlplus your_username/your_password@oracle_service @export_csv.sql

大表拆分优化（避免单文件过大） #

20亿条记录单文件会远超常规存储限制，用shell循环配合ROWNUM分段导出：

# 每次导出1000万条，共200个文件
for batch in {0..199}; do
  start_row=$((batch * 10000000 + 1))
  end_row=$(( (batch + 1) * 10000000 ))
  # 替换脚本中的行范围
  sed "s/FROM your_target_table/FROM your_target_table WHERE ROWNUM BETWEEN $start_row AND $end_row/" export_csv.sql > temp_batch.sql
  # 执行导出
  sqlplus your_username/your_password@oracle_service @temp_batch.sql > /data/output/batch_${batch}.csv
done

额外优化：在查询中添加/*+ DIRECT */提示，让Oracle直接读取数据文件跳过缓存：

SELECT /*+ DIRECT */ col1, col2, col3 FROM your_target_table ...

2. 外部表导出（性能最优） #

利用Oracle外部表特性，让数据库引擎直接将数据写入CSV文件，无中间层开销，是超大规模数据导出的首选方案。

操作步骤 #

1. 创建目录对象（需DBA权限）：

CREATE OR REPLACE DIRECTORY csv_export_dir AS '/data/csv_output';
GRANT READ, WRITE ON DIRECTORY csv_export_dir TO your_username;

2. 创建映射到CSV的外部表：

CREATE TABLE your_table_ext (
  col1 VARCHAR2(60),
  col2 NUMBER(18),
  col3 DATE
) ORGANIZATION EXTERNAL (
  TYPE ORACLE_LOADER
  DEFAULT DIRECTORY csv_export_dir
  ACCESS PARAMETERS (
    RECORDS DELIMITED BY NEWLINE
    FIELDS TERMINATED BY ','
    OPTIONALLY ENCLOSED BY '"' -- 处理含逗号的字段
    MISSING FIELD VALUES ARE NULL
    DATE_FORMAT DATE MASK "YYYY-MM-DD"
  )
  LOCATION ('full_table_export.csv')
) REJECT LIMIT UNLIMITED;

3. 直接插入数据到外部表（即导出到CSV）：

INSERT /*+ APPEND */ INTO your_table_ext SELECT * FROM your_target_table;
COMMIT;

/*+ APPEND */启用直接路径插入，能最大化写入速度。

3. Data Pump + 转CSV（适合备份+导出场景） #

先用Oracle Data Pump（expdp）快速导出为二进制备份文件，再转成CSV，适合需要先备份数据的场景。

导出备份文件 #

expdp your_username/your_password@oracle_service tables=your_target_table directory=csv_export_dir dumpfile=table_backup.dmp logfile=export_log.log parallel=4

parallel=4可根据服务器CPU核数调整，提升导出速度。

转成CSV #

将备份文件导入临时表，再用SQL*Plus导出：

impdp your_username/your_password@oracle_service tables=your_target_table directory=csv_export_dir dumpfile=table_backup.dmp remap_table=your_target_table:temp_export_table

之后用SQL*Plus脚本从temp_export_table导出为CSV即可。

关键注意事项 #

• 磁盘IO：确保输出目录使用高速存储（如SSD），预留至少2倍于表大小的磁盘空间。
• 字符集：导出前设置环境变量避免乱码：

export NLS_LANG=AMERICAN_AMERICA.AL32UTF8

• 数据库资源：导出期间避免在业务高峰执行，可通过调整并行度控制资源占用。

内容的提问来源于stack exchange，提问作者Bruce Wayne