Redshift存储过程FOR循环未遍历全部行求助

1. 动态SQL执行失败导致循环中断 #

你的存储过程直接拼接表名执行动态SQL，若某张表存在以下情况，会触发执行错误并终止整个循环：

• 表名包含特殊字符（如空格、连字符）或创建时用双引号保留大小写，直接拼接会引发SQL语法错误
• 循环过程中表被删除、权限变更，导致执行时无法访问

解决方法：

• 使用quote_ident()函数安全转义表名，避免语法错误
• 给动态SQL块添加异常捕获，单个表执行失败时跳过并记录错误，不中断整体循环

修改后的代码示例：

create or replace procedure count_duplicates_in_xyz_tables() as $$
declare 
    table_row record;
    cnt bigint;
    idx int;
    error_msg text;
begin
idx := 0;
for table_row in select * from pg_tables t where schemaname = 'public' and trim(tablename) like '%_xyz' loop
    cnt := 0;
    idx := idx + 1;
    begin
        execute 'select count(*) from ' || quote_ident(table_row.tablename) || ' where accountid in (123, 456, 789)' into cnt;
        raise info '[%] Rows count from %: %', idx, table_row.tablename, cnt;
    exception
        when others then
            get stacked diagnostics error_msg = message_text;
            raise info '[%] Failed to process table %: %', idx, table_row.tablename, error_msg;
    end;
end loop;
end;
$$ language plpgsql;

2. 查看Redshift系统日志定位根因 #

如果循环确实中途停止，通过Redshift系统表排查具体错误：

• 查询STL_ERROR表，过滤存储过程执行时间范围内的错误记录：

select * from stl_error 
where pid = (
    select pid from stl_query 
    where querytxt like 'call count_duplicates_in_xyz_tables()' 
    order by starttime desc limit 1
);

• 查询STL_QUERY和STL_QUERYTEXT查看存储过程执行的详细日志，确认是否有中断信号或未捕获异常。

3. 输出限制导致的“假停止” #

Redshift默认限制存储过程中RAISE INFO的输出行数（缓冲区满时可能提前停止输出），此时循环可能仍在执行，但你无法看到后续内容。

解决方法：

• 将结果插入自定义日志表，替代RAISE INFO：

-- 先创建日志表
create table if not exists table_count_log (
    idx int,
    tablename varchar(256),
    cnt bigint,
    error_msg varchar(512),
    create_time timestamp default current_timestamp
);

-- 修改存储过程
create or replace procedure count_duplicates_in_xyz_tables() as $$
declare 
    table_row record;
    cnt bigint;
    idx int;
    error_msg text;
begin
idx := 0;
truncate table table_count_log; -- 清空历史日志
for table_row in select * from pg_tables t where schemaname = 'public' and trim(tablename) like '%_xyz' loop
    cnt := 0;
    idx := idx + 1;
    begin
        execute 'select count(*) from ' || quote_ident(table_row.tablename) || ' where accountid in (123, 456, 789)' into cnt;
        insert into table_count_log (idx, tablename, cnt) values (idx, table_row.tablename, cnt);
    exception
        when others then
            get stacked diagnostics error_msg = message_text;
            insert into table_count_log (idx, tablename, error_msg) values (idx, table_row.tablename, error_msg);
    end;
end loop;
end;
$$ language plpgsql;

-- 执行后查询日志表
select * from table_count_log order by idx;

内容的提问来源于stack exchange，提问作者Dhilip H