Oracle中如何将客户端查询结果增量写入本地CSV实现中断续跑

方案1：基于Toad for Oracle原生功能实现（无需额外工具） #

现有PL/SQL只需少量调整即可实现，核心逻辑是取消内存集合存储，每完成一个分片查询直接输出结果，通过Toad的输出重定向功能写入本地CSV：

调整后的PL/SQL代码 #

DECLARE 
TYPE br_data IS RECORD (brnchcod NUMBER, c100 NUMBER);
bd br_data;
-- 首次执行时v_first_run设为1输出表头，后续重跑设为0避免重复表头
v_first_run NUMBER := 1;
begin
     -- 断点续跑逻辑：如果已有处理完成的分片，查询时直接排除，中断重跑时填入已处理的编码列表即可
     for cur_br in (select a.ABRNCHCOD from Afbranches a where a.ABRNCHCOD not in (/* 已处理的ABRNCHCOD列表 */))
     loop
         Select 
             Br.ABRNCHCOD, Sum(K.CARD100)
         INTO bd
         From Afbranches Br
         Left Join K On Br.ABRNCHCOD=K.ABRNCHCOD
         where Br.ABRNCHCOD = cur_br.ABRNCHCOD
         Group by Br.ABRNCHCOD;
         
         -- 首次执行输出表头
         if v_first_run = 1 then
             dbms_output.put_line('ABRNCHCOD,CARD100_SUM');
             v_first_run := 0;
         end if;
         -- 输出当前分片结果，字段含特殊字符可加双引号包裹避免CSV格式错乱
         dbms_output.put_line(bd.brnchcod || ',' || bd.c100);
     end loop;
end;

Toad配置步骤 #

• 打开Toad菜单栏【View】→【DBMS Output】调出输出面板
• 点击面板右上角的设置图标，将缓冲区大小调整为1000000以上，避免缓冲区溢出报错
• 点击输出面板的「保存」按钮下拉选项，选择Redirect output to file，指定本地CSV文件路径，勾选Append to file（追加模式）
• 执行PL/SQL即可实现每完成一个分片自动追加写入本地CSV

方案2：基于Python脚本实现（更稳定可控，推荐复杂场景使用） #

无需依赖Toad，直接通过Python连接Oracle，逻辑完全自定义，断点续跑更方便：

示例代码 #

import cx_Oracle
import csv
import os

# 配置项
ORACLE_CONN_STR = "用户名/密码@数据库地址:端口/服务名"
CSV_PATH = "./result.csv"
PROGRESS_PATH = "./progress.txt"

# 读取已处理进度
processed_br = set()
if os.path.exists(PROGRESS_PATH):
    with open(PROGRESS_PATH, 'r') as f:
        processed_br = set(f.read().splitlines())

# 连接数据库
conn = cx_Oracle.connect(ORACLE_CONN_STR)
cursor = conn.cursor()

# 打开CSV追加写入
with open(CSV_PATH, 'a', newline='', encoding='utf-8') as csvf:
    writer = csv.writer(csvf)
    # 首次写入表头
    if not processed_br:
        writer.writerow(['ABRNCHCOD', 'CARD100_SUM'])
    
    # 查询所有待处理的机构编码
    cursor.execute("select ABRNCHCOD from Afbranches")
    for (br_cod,) in cursor.fetchall():
        if str(br_cod) in processed_br:
            continue
        # 执行分片查询
        cursor.execute("""
            Select Br.ABRNCHCOD, Sum(K.CARD100)
            From Afbranches Br
            Left Join K On Br.ABRNCHCOD=K.ABRNCHCOD
            where Br.ABRNCHCOD = :1
            Group by Br.ABRNCHCOD
        """, [br_cod])
        res = cursor.fetchone()
        if res:
            writer.writerow(res)
        # 记录已处理进度
        with open(PROGRESS_PATH, 'a') as f:
            f.write(f"{br_cod}\n")

cursor.close()
conn.close()

该方案无需手动调整已处理编码列表，中断后重新运行脚本会自动跳过已处理的分片，适合长时间运行的查询任务。

优化建议 #

• 给K表的ABRNCHCOD字段创建索引，可大幅降低每个分片查询的耗时
• 如果查询结果字段包含逗号、换行符等特殊字符，写入CSV时需给字段值加双引号包裹，避免格式错乱
• 分片粒度可根据单分片查询耗时调整，建议控制单分片查询在10分钟以内，降低中断损失

内容的提问来源于stack exchange，提问作者Hadi Mohseni ahuii