使用Python拆分超长SQL查询为多个脚本的技术求助

针对你那56000行、包含大量无分号分隔嵌套子查询的SQL，以下是几个可落地的拆分方案：

1. 用临时表/视图剥离嵌套子查询 #

把重复或独立的子查询抽离成临时表或视图，简化主查询结构的同时，自然实现拆分：
比如你示例里的子查询，可先单独写成脚本：

-- 脚本1：创建市场平均价格临时表
CREATE TEMPORARY TABLE market_avg AS
SELECT title, average_prc FROM market;

-- 脚本2：创建工程师+教师平均价格临时表
CREATE TEMPORARY TABLE eng_teacher_avg AS
SELECT title, average_prc FROM engineers
UNION ALL
SELECT title, average_prc FROM teachers;

之后主查询脚本就可以直接关联这些临时表，不再嵌套复杂子查询，拆分逻辑清晰。

2. 借助专业SQL IDE的语法导航功能 #

用DataGrip、DBeaver这类IDE的语法折叠和提取功能：

• 打开SQL文件后，IDE会自动识别嵌套结构，通过左侧的折叠箭头定位每个顶级查询块
• 选中需要拆分的查询块（比如示例里的两个顶级SELECT），右键选择「Extract to File」，直接导出为独立脚本
• 这类工具能精准区分顶级查询和子查询，避免误拆分

3. 自定义正则匹配拆分（适合有编程基础的场景） #

写针对性的正则表达式，匹配顶级SELECT语句（避开子查询内的SELECT），用脚本批量拆分：
比如用Python脚本配合正则(?<=(UNION ALL|UNION)\s+)SELECT定位每个顶级查询的起始位置，将原SQL分割成多个片段后保存为独立文件。注意要先在小样本上测试正则，确保不会误匹配子查询里的内容。

4. 手动标记拆分节点 #

通读SQL，定位所有顶级逻辑分界点（比如UNION ALL、WITH子句起始处），手动将每个独立的查询块复制到新文件：

• 先折叠所有子查询，只看顶级结构
• 比如你示例里的两个SELECT ... UNION ALL就是两个独立的顶级查询，可拆分为两个脚本，再把共用的子查询单独抽成一个脚本

注意事项 #

拆分后要分步验证：先运行所有依赖的临时表/视图脚本，再运行主查询脚本，对比结果和原查询是否一致，确保逻辑无偏差。

示例原SQL摘要 #

/* Formatted on 14/09/2022 08:03:20 (QP5 v5.256.13226.35538) */
  SELECT t1.title,
         t1.emp_name,
         t1.emp_surname,
         c1.fee,
         (SELECT m.average_prc
            FROM market m
           WHERE m.title = t1.title)
            market_price
    FROM employees t1, costs c1
   WHERE t1.emp_name = t2.emp_name
GROUP BY t1.title, t1.emp_name
UNION ALL
  SELECT t1.title,
         t1.emp_name,
         t1.emp_surname,
         c1.fee,
         (SELECT m.average_prc
            FROM engineers m
           WHERE m.title = t1.title
          UNION ALL
          SELECT t.average_prc
            FROM teachers t
           WHERE t.title = t1.title)
            market_price
    FROM employees_engineers t1, costs c1
   WHERE t1.emp_name = t2.emp_name
GROUP BY t1.title, t1.emp_name
/* this is just summary, it has many lot tables and columns */

内容的提问来源于stack exchange，提问作者Semih