Airflow任务调用Lambda失败:遇TooManyRequestsException速率超限问题
AWS Lambda调用速率超限(TooManyRequestsException)问题排查
我们用Airflow DAG触发Lambda做数据处理,现在任务频繁因Lambda返回速率超限错误失败。已经确认不是并发问题——我们的Lambda并发配额是默认的1000,且出错时段没有其他Lambda任务在运行。
持续出现的错误日志如下:
An error occurred (TooManyRequestsException) when calling the Invoke operation (reached max retries: 4): Rate Exceeded. [2023-07-03, 12:28:25 UTC] {taskinstance.py:1345} INFO - Marking task as FAILED. dag_id=xxxxxxxxxx, task_id=xxxxxxxxxx, execution_date=20230703T122605, start_date=20230703T122714, end_date=20230703T122825
这个错误看起来和boto3调用AWS API的方式有关,但我们检查后没发现异常。有没有人遇到过触发Lambda时的这类速率超限问题?
内容的提问来源于stack exchange,提问作者odonnry
相关产品推荐
相关产品推荐

