如何用Boto3自动在Redshift Serverless创建数千张表及解决超限报错

问题根源 #

Redshift Data API默认限制同时活跃的语句数为500，你现在每张表单独发起异步请求，导致活跃语句数超标触发ActiveStatementsExceededException。

可行解决方案 #

1. 同步执行，逐个创建表 #

每次发起创建请求后，等待该语句执行完成，再处理下一张表。这样同一时间只有一个活跃语句，完全不会触碰配额限制。

修改后的代码示例：

import time

for statement in create_statements:
    # 发起创建请求
    response = redshift_data_client.execute_statement(
        Database='dev',
        Sql=statement,
        WorkgroupName='rss-workgroup'
    )
    statement_id = response['Id']
    
    # 轮询等待语句执行完成
    while True:
        status = redshift_data_client.describe_statement(Id=statement_id)['Status']
        if status in ['FINISHED', 'FAILED', 'ABORTED']:
            # 可选：处理失败情况
            if status == 'FAILED':
                error_info = redshift_data_client.describe_statement(Id=statement_id)['Error']
                print(f"创建表失败，语句ID: {statement_id}，错误: {error_info}")
            break
        time.sleep(1)  # 每秒检查一次状态

2. 批量提交创建语句 #

把多个CREATE TABLE语句合并成一个SQL脚本（用分号分隔），一次性调用API提交。这样一个API请求就能创建多张表，大幅减少活跃语句的数量。

示例代码：

import time

# 每50个创建语句合并成一批（可根据实际情况调整批次大小）
batch_size = 50
for i in range(0, len(create_statements), batch_size):
    batch_statements = create_statements[i:i+batch_size]
    # 拼接成单条SQL
    batch_sql = "; ".join(batch_statements)
    # 提交批量请求
    response = redshift_data_client.execute_statement(
        Database='dev',
        Sql=batch_sql,
        WorkgroupName='rss-workgroup'
    )
    # 等待批次执行完成，避免后续批次触发配额
    statement_id = response['Id']
    while True:
        status = redshift_data_client.describe_statement(Id=statement_id)['Status']
        if status in ['FINISHED', 'FAILED', 'ABORTED']:
            if status == 'FAILED':
                error_info = redshift_data_client.describe_statement(Id=statement_id)['Error']
                print(f"批次创建失败，语句ID: {statement_id}，错误: {error_info}")
            break
        time.sleep(1)

注意：不要把太多语句合并成一个批次，避免单条SQL过大导致执行超时或其他问题，建议先测试合适的批次大小。

3. 控制并发请求数 #

如果想保留一定的并发效率，同时不超过配额，可以用线程池控制同时执行的请求数（比如设为450，留50的余量）。

示例代码：

import time
import concurrent.futures

def create_table(statement):
    response = redshift_data_client.execute_statement(
        Database='dev',
        Sql=statement,
        WorkgroupName='rss-workgroup'
    )
    statement_id = response['Id']
    # 等待当前语句完成
    while True:
        status = redshift_data_client.describe_statement(Id=statement_id)['Status']
        if status in ['FINISHED', 'FAILED', 'ABORTED']:
            if status == 'FAILED':
                error_info = redshift_data_client.describe_statement(Id=statement_id)['Error']
                print(f"创建表失败，语句: {statement}，错误: {error_info}")
            return
        time.sleep(1)

# 控制并发数为450
with concurrent.futures.ThreadPoolExecutor(max_workers=450) as executor:
    executor.map(create_table, create_statements)

内容的提问来源于stack exchange，提问作者Poreddy Siva Sukumar Reddy US