Exasol存储过程编写咨询：大表分块批量插入逻辑实现

实现说明 #

以下是符合Exasol语法规范的可运行存储过程，基于Exasol原生Lua脚本存储过程实现，完全匹配你给出的循环变量规则，核心逻辑为按固定大小拆分海量数据批量执行插入：

CREATE OR REPLACE PROCEDURE BATCH_INSERT_DATA()
LANGUAGE LUA
AS
-- 变量声明
local total_count
local run_loop
local counter = 1
local start = 0
local end_all = 1000
local batch_size = 1000 -- 可根据实际性能调整块大小
begin
    -- 获取总数据量计算循环次数
    local count_res = query([[SELECT COUNT(*) FROM TABLE1]])
    total_count = count_res[1][1]
    run_loop = math.floor(total_count / batch_size) + 1

    -- 分块执行插入逻辑
    while counter <= run_loop do
        -- 替换为实际的目标表和查询字段，避免用SELECT *
        local exec_sql = string.format([[
            INSERT INTO YOUR_TARGET_TABLE
            SELECT * FROM TABLE2
            WHERE RN BETWEEN %d AND %d
        ]], start + 1, end_all)

        query(exec_sql)

        -- 更新循环变量
        counter = counter + 1
        start = end_all
        end_all = end_all + batch_size
    end
end;
/

调用方法 #

执行存储过程直接调用即可：
EXECUTE PROCEDURE BATCH_INSERT_DATA();

优化建议 #

• 如果TABLE2没有预先生成的RN行号列，可以替换查询逻辑动态生成行号，无需提前预处理数据：

  SELECT * FROM (
      SELECT *, ROW_NUMBER() OVER() AS RN FROM TABLE2
  ) t
  WHERE RN BETWEEN %d AND %d
  

• 块大小batch_size可根据服务器资源调整，常用区间为1000~10000行，平衡执行效率和资源占用
• 若需要事务保障，可在循环外层开启全局事务，所有块执行成功后统一提交，出错时触发回滚

内容的提问来源于stack exchange，提问作者user12063090