东京区域Amazon Managed Workflows for Apache Airflow调用首尔区域AWS Lambda超时问题咨询

结合你的场景和代码片段，我来帮你理清这个问题：

首先明确：Airflow的AwsLambdaHook同步调用Lambda时，确实存在默认5分钟的超时限制，但这个限制是可以调整的——不过你的代码里虽然已经尝试设置了15分钟超时，可能是配置细节或者Airflow版本的问题导致设置没生效，才出现了「Airflow标记失败但Lambda实际执行成功」的矛盾情况。

1. 5分钟限制的由来 #

这个默认超时来自于boto3底层依赖的botocore库的默认read_timeout设置，AwsLambdaHook在不指定自定义配置时会沿用这个值。当你同步调用Lambda时，如果Lambda运行时间超过这个超时，Airflow的hook会提前抛出超时异常，直接标记任务失败，但此时Lambda可能还在后台继续执行，最终完成后返回200状态码——这就是你看到日志和Airflow状态不一致的核心原因。

2. 你的配置可能没生效的原因 #

你代码里创建了Config对象传给AwsLambdaHook，但要确认两个关键细节：

• 确保Config是从botocore.config导入的，而不是其他库的同名类，正确导入语句应该是：

  from botocore.config import Config
  

• 检查MWAA使用的Airflow版本：如果是Airflow 1.x，旧版本的AwsLambdaHook可能不支持直接传递config参数，这时候你的配置自然不会生效；如果是Airflow 2.x及以上，这个参数是支持的，但要确保参数传递正确。

3. 正确修改超时限制的方法 #

方法一：确保自定义Config生效（适用于Airflow 2.x+） #

调整代码，明确指定Lambda的区域（避免默认使用MWAA的东京区域），并确保Config正确传递：

from botocore.config import Config

# 配置15分钟超时（匹配Lambda同步调用的最大时长）
config = Config(
    read_timeout=900,
    connect_timeout=900,
    retries={"max_attempts": 1}
)

def _invoke_lambda_func(lambda_name,payload):
    lambda_hook = AwsLambdaHook(
        function_name=lambda_name,
        config=config,
        region_name='ap-northeast-2'  # 首尔区域的AWS区域代码
    )
    response = lambda_hook.invoke_lambda(payload=payload)
    if response['StatusCode'] == 200:
        return True

注意：Lambda同步调用的最长运行时间是15分钟，所以read_timeout设置不能超过这个值，否则没有实际意义。

方法二：设置Airflow任务的执行超时 #

除了hook的超时，Airflow任务本身也有默认5分钟的execution_timeout限制，即使hook没超时，任务也会被强制标记失败。你需要在default_args里添加这个配置：

args = {
    # 你的其他默认参数
    'execution_timeout': timedelta(minutes=15)  # 和Lambda超时保持一致
}

方法三：改用异步调用（适用于Lambda运行时长接近/超过15分钟的场景） #

如果你的Lambda运行时长可能超过15分钟，同步调用的方式就不适用了，建议改用异步调用：

• 调用时指定InvocationType='Event'，Airflow会立即返回，无需等待Lambda执行完成；
• 后续可以添加一个任务，通过Lambda的请求ID去查询执行状态（比如检查CloudWatch日志、或者让Lambda执行完成后写入SQS/Step Functions，由Airflow监听）。
  示例代码：

def _invoke_lambda_async(lambda_name,payload):
    lambda_hook = AwsLambdaHook(
        function_name=lambda_name,
        region_name='ap-northeast-2'
    )
    response = lambda_hook.invoke_lambda(
        payload=payload,
        invocation_type='Event'
    )
    if response['StatusCode'] == 202:
        # 返回请求ID，用于后续检查执行状态
        return response['ResponseMetadata']['RequestId']

总结 #

• 5分钟的超时限制确实存在，是botocore默认设置+Airflow任务默认超时共同作用的结果；
• 可以通过自定义botocore.config.Config并设置Airflow任务的execution_timeout来调整这个限制；
• 如果Lambda运行时长超过15分钟，必须改用异步调用+状态检查的方案。

内容的提问来源于stack exchange，提问作者hyeonkimmm