在Jupyter Notebook中运行大型PL/SQL脚本失败的问题排查与解决

可能的原因 #

• 多行SQL格式错误：单%sql魔法命令仅适配单行查询，大脚本的换行、多语句会被错误解析
• 语法细节疏漏：你提供的示例代码中日期条件存在多余右括号（t.date)>'1.12.2023'），大脚本可能存在类似语法问题
• 连接实例不一致：原生cx_Oracle连接与%sql的连接是独立会话，权限、会话参数可能不统一
• PL/SQL兼容性限制：%sql魔法命令对含DECLARE/BEGIN/END的纯PL/SQL块支持有限
• 资源过载：大JOIN查询数据量过大，引发超时或内存溢出

具体修正方案 #

1. 统一连接实例，消除会话差异 #

不要同时使用原生cx_Oracle连接和%sql的独立连接，复用同一个连接确保会话配置一致：

import cx_Oracle
from sqlalchemy import create_engine, URL

# 建立原生Oracle连接
conn = cx_Oracle.connect("dw1", "dw2", "//local1/DW3")

# 转为SQLAlchemy引擎，供%sql复用
url = URL.create(
    "oracle+cx_oracle",
    username="dw1",
    password="dw2",
    host="local1",
    service_name="DW3"
)
engine = create_engine(url)

# 让%sql使用该引擎的连接
%sql engine --connection

2. 正确处理多行JOIN查询 #

使用%%sql（双百分号）编写多行查询，确保语法被正确解析：

%%sql
SELECT t1.*, t2.column_name
FROM tab t1
LEFT JOIN other_tab t2 ON t1.id = t2.tab_id
WHERE t1.date > TO_DATE('1.12.2023', 'DD.MM.YYYY')

注意：用TO_DATE显式转换日期，避免Oracle隐式转换报错；先在Oracle客户端验证SQL语法正确性。

3. 用原生cursor执行PL/SQL块 #

如果大脚本是PL/SQL逻辑（含DECLARE/BEGIN/END），直接用cx_Oracle原生cursor执行更稳定：

plsql_script = """
DECLARE
    v_total NUMBER;
BEGIN
    SELECT COUNT(*) INTO v_total 
    FROM tab t1
    INNER JOIN other_tab t2 ON t1.id = t2.tab_id;
    DBMS_OUTPUT.PUT_LINE('Total records: ' || v_total);
END;
"""

cursor = conn.cursor()
# 启用DBMS_OUTPUT获取输出
cursor.callproc('DBMS_OUTPUT.ENABLE')
cursor.execute(plsql_script)

# 读取输出内容
buffer = cursor.callfunc('DBMS_OUTPUT.GET_LINE', str, [cursor.var(int)])
while buffer[0] is not None:
    print(buffer[0])
    buffer = cursor.callfunc('DBMS_OUTPUT.GET_LINE', str, [cursor.var(int)])

cursor.close()

4. 优化大查询的资源占用 #

• 原生cursor分批获取数据，避免内存溢出：

sql = """
SELECT t1.*, t2.column_name
FROM tab t1
LEFT JOIN other_tab t2 ON t1.id = t2.tab_id
WHERE t1.date > TO_DATE('1.12.2023', 'DD.MM.YYYY')
"""
cursor = conn.cursor()
cursor.execute(sql)
# 每次获取1000行数据
while True:
    rows = cursor.fetchmany(1000)
    if not rows:
        break
    for row in rows:
        print(row)

• %sql限制显示行数，避免渲染崩溃：

%config SqlMagic.displaylimit = 100  # 仅显示前100行结果

5. 先排查语法错误 #

先在Oracle官方客户端（如SQL Developer）测试大脚本，确认无JOIN条件错误、表别名冲突、拼写错误等问题后，再移植到Jupyter中。

内容的提问来源于stack exchange，提问作者dado