如何配置Redshift Lambda UDF实现请求批量处理？

要让Redshift Lambda UDF实现批量调用，需要从UDF定义和Lambda函数逻辑两方面调整，具体步骤如下：

1. 修改UDF创建语句，启用批量模式 #

在原来的CREATE EXTERNAL FUNCTION语句中添加BATCHED关键字，并明确批量输入输出的数组结构——因为批量模式下Redshift会把多行参数打包成数组传递给Lambda，同时期望Lambda返回对应长度的结果数组。

调整后的DDL示例：

CREATE OR REPLACE EXTERNAL FUNCTION hello_world (varchar)
RETURNS varchar IMMUTABLE
LAMBDA 'redshift_udf_testy'
IAM_ROLE '<redacted>'
BATCHED
INPUT_ARGUMENTS (varchar[])
RETURNS_ARRAY varchar[];

2. 适配Lambda函数的批量处理逻辑 #

原来的Hello World Lambda是处理单个参数的，现在需要修改为接收参数数组，并返回结果数组。以Python为例，调整后的Lambda代码如下：

def lambda_handler(event, context):
    # 从event中获取批量传入的参数数组
    input_list = event["arguments"]
    # 批量处理每个输入值，生成结果数组（这里保留原逻辑，仅返回输入内容）
    result_list = [val for val in input_list]
    # 按照Redshift要求的格式返回结果
    return {"results": result_list}

注意：返回结构必须是{"results": [结果1, 结果2, ...]}，且结果数组的长度必须和输入参数数组完全一致，否则Redshift会抛出错误。

3. 验证批量调用效果 #

执行你原来的查询：

select hello_world(generate_series(1, 500)::text);

此时Redshift会将500条数据打包成一个数组传递给Lambda，仅触发一次（或少量几次）调用，而非原来的500次单独调用。你可以通过Lambda控制台的监控面板查看调用次数来验证。

额外注意事项 #

• 批量处理仅支持IMMUTABLE类型的UDF，你的UDF已经满足这个条件。
• Redshift会自动控制批量大小，默认单次调用最多传递1000条数据，无需手动配置。
• 如果Lambda处理批量数据时出现异常，整个批量请求会失败，建议在Lambda中加入必要的错误处理逻辑。

内容的提问来源于stack exchange，提问作者Jay Miller