使用awswrangler查询RDS Serverless Aurora触发BadRequestException如何解决？

你遇到的报错不是RDS算力不足或者Lambda并发不够导致的，核心是两个硬限制触发了Data API的BadRequest校验：

• RDS Data API单次请求的参数数量上限为1000个，超过阈值就会直接返回请求错误，和数据库本身的配置无关
• 你当前使用字符串拼接SQL的写法除了存在SQL注入风险外，当ID列表过长时还会导致SQL语句大小超过Data API的1MB请求体上限，同样会触发报错

方案1：拆分ID列表分批查询（改造成本最低） #

把ID列表拆成多个最大长度为999的子列表，分别发起查询后合并结果即可：

import awswrangler as wr
import pandas as pd

def split_list(lst, chunk_size=999):
    for i in range(0, len(lst), chunk_size):
        yield lst[i:i + chunk_size]

all_results = []
for id_chunk in split_list(ids_list):
    # 改用参数化查询+PostgreSQL原生ANY操作符，避免SQL注入同时兼容列表参数
    chunk_res = wr.rds.execute_statement(
        sql="SELECT * FROM serverlessDB WHERE column_name = ANY(%s)",
        parameters=[id_chunk],
        database="你的数据库名称",
        resource_arn="RDS实例ARN",
        secret_arn="数据库密钥Secret的ARN"
    )
    all_results.append(chunk_res)

# 合并所有批次的查询结果
final_result = pd.concat(all_results, ignore_index=True)

方案2：临时表关联查询（适合ID量级过万的场景） #

如果ID总数超过1万，分批查询的请求开销过高，可以用临时表关联的方式一次性查询：

• 执行SQL创建临时表：CREATE TEMP TABLE temp_ids (id INT);
• 调用wr.rds.batch_execute_statement接口批量插入所有ID到临时表
• 执行关联查询获取结果：SELECT a.* FROM serverlessDB a JOIN temp_ids b ON a.column_name = b.id;
• 查询完成后删除临时表释放资源

方案3：调整接口重试配置 #

如果拆分后偶发重试超限报错，可以调整awswrangler的全局配置调高重试次数和超时时间：

# 调高超时时间为60秒
wr.config.rds_execute_statement_timeout = 60
# 调高最大重试次数为5次
wr.config.rds_execute_statement_retries = 5

内容的提问来源于stack exchange，提问作者Prof. Falken