如何在AirFlow中修改Lambda Invoke的read_timeout参数？

问题背景 #

使用AirFlow 2.5.1默认的LambdaInvokeFunctionOperator调用执行时长超过1分钟的Lambda函数时，会触发读取超时错误——底层Boto3连接的默认read_timeout为60秒，无法覆盖Lambda的长执行时间。目前已通过自定义Operator和Hook修改连接参数解决，但希望找到更简洁的实现方式（暂不考虑异步调用方案）。

现有方案分析 #

你当前的自定义方案确实能解决问题，但存在代码冗余：重写了invoke_lambda方法，而该方法和原Hook的实现几乎一致，只是为了替换带自定义超时的Boto3连接，属于过度设计，完全可以简化。

更优方案：复用原Operator，简化自定义逻辑 #

方案1：仅自定义Hook，复用原Operator #

不需要重写整个Operator，只需要自定义Hook替换Boto3连接配置，复用父类所有已有逻辑：

from __future__ import annotations
from botocore.config import Config
from cached_property import cached_property
from airflow.providers.amazon.aws.hooks.lambda_function import LambdaHook as BaseLambdaHook

class LambdaLongRunningHook(BaseLambdaHook):
    @cached_property
    def conn(self):
        # 仅修改Boto3超时配置，其余逻辑完全复用父类
        config = Config(
            connect_timeout=5,
            read_timeout=900,
            tcp_keepalive=True
        )
        return self.get_client_type(self.region_name, config)

使用时直接给原Operator指定自定义Hook即可：

from airflow.providers.amazon.aws.operators.lambda_function import LambdaInvokeFunctionOperator

lambda_op = LambdaInvokeFunctionOperator(
    task_id="invoke_long_running_lambda",
    function_name="your-long-running-function",
    aws_conn_id="aws_default",
    hook=LambdaLongRunningHook(aws_conn_id="aws_default")
)

方案2：零代码修改，通过AirFlow连接配置实现 #

最简洁的方式是直接在AirFlow的AWS连接中配置自定义Boto3参数：

1. 进入AirFlow UI → Admin → Connections
2. 找到目标AWS连接（如aws_default）
3. 在Extra字段中填入以下JSON：

{
  "config": {
    "connect_timeout": 5,
    "read_timeout": 900,
    "tcp_keepalive": true
  }
}

所有使用该连接的AWS Hook（包括LambdaInvokeFunctionOperator）都会自动应用此配置，无需任何代码改动。

方案对比 #

• 方案1：适合单个Lambda任务需要单独配置超时的场景，代码改动极小，完全复用官方Operator和Hook的逻辑。
• 方案2：适合全局配置或多个任务需要相同超时的场景，零代码改动，配置灵活。

内容的提问来源于stack exchange，提问作者TrendSpark