使用Python的ibm_db从DB2提取超大表时的性能问题排查

核心性能瓶颈：OFFSET分页的致命缺陷 #

你当前使用的OFFSET ... FETCH NEXT分页方式是速度随时间下降的核心原因。DB2处理OFFSET时，必须扫描并跳过前面所有行才能定位到目标数据块，当OFFSET从50万逐步增大到数千万时，每次查询的IO和计算成本会呈指数级增长，直接导致运行后期速度暴跌。

代码中的明显错误 #

• chunk = 0：这会触发fetch next 0 rows only，根本无法获取数据，你需要设置合理的分块大小（比如50000、100000）；
• offset = 500000：初始偏移量设得过大，会直接跳过前50万行，同时代码中存在变量名大小写不一致问题（Stmt vs stmt），first_chunk未定义，这些都会导致代码无法正常运行；
• 逐行写入CSV：csv_writer.writerow(row)每次仅写入一行，频繁的IO操作会拖慢整体速度。

优化方案：键集分页+批量读写 #

1. 替换OFFSET为键集分页

基于表中**唯一、有序的列（如主键ID、时间戳）**进行分页，每次查询以上一次最后一条记录的键值作为过滤条件，避免全表扫描。示例：
假设表有主键id，初始查询：

SELECT * FROM your_table ORDER BY id ASC FETCH FIRST 50000 ROWS ONLY

后续查询：

SELECT * FROM your_table WHERE id > {last_id} ORDER BY id ASC FETCH FIRST 50000 ROWS ONLY

这种方式下DB2可利用索引直接定位到起始位置，性能不会随分页次数下降。

2. 批量读取与写入

• 用ibm_db.fetch_bulk批量获取数据，减少与数据库的交互次数；
• 收集一批数据后用csv_writer.writerows批量写入，降低IO开销；
• 使用只进游标（Forward-only Cursor）减少内存占用。

3. 优化后的完整代码

import csv
import ibm_db

def extract_large_table(conn, sql_base, chunk_size=50000, csv_file_path="output.csv"):
    # 设置只进游标，提升性能并减少内存占用
    ibm_db.set_option(conn, {ibm_db.SQL_ATTR_CURSOR_TYPE: ibm_db.SQL_CURSOR_FORWARD_ONLY})
    
    last_key = None
    first_chunk = True
    csv_writer = None
    
    with open(csv_file_path, mode="w", newline="", encoding="utf-8") as csvfile:
        while True:
            # 构建键集分页查询
            if last_key is None:
                query = f"{sql_base} ORDER BY id ASC FETCH FIRST {chunk_size} ROWS ONLY"
            else:
                query = f"{sql_base} WHERE id > {last_key} ORDER BY id ASC FETCH FIRST {chunk_size} ROWS ONLY"
            
            stmt = ibm_db.exec_immediate(conn, query)
            # 批量获取数据
            rows = ibm_db.fetch_bulk(stmt, chunk_size)
            
            if not rows:
                break
            
            # 处理表头
            if first_chunk:
                header = rows[0].keys()
                csv_writer = csv.DictWriter(csvfile, fieldnames=header)
                csv_writer.writeheader()
                first_chunk = False
            
            # 批量写入CSV
            csv_writer.writerows(rows)
            # 更新最后一个键值
            last_key = rows[-1]["id"]
    
    ibm_db.close(conn)

# 调用示例
# sql_base = "SELECT col1, col2, col3 FROM your_large_table"
# extract_large_table(your_conn, sql_base, chunk_size=50000)

额外优化建议 #

• 分块大小：建议在50000-200000之间测试，找到内存占用与速度的平衡点，避免过大导致内存溢出、过小导致频繁查询；
• 索引确保：确保用于分页的列（如id）有唯一索引，DB2才能高效定位；
• 连接配置：增加ibm_db.SQL_ATTR_QUERY_TIMEOUT避免超时，设置合适的SQL_ATTR_MAX_LENGTH提升数据传输效率；
• 避免SELECT *：只查询需要的列，减少数据传输量和内存占用。

内容的提问来源于stack exchange，提问作者tjmhd