AWS SQS Python调用receive_message仅返回单条消息问题排查

我正在使用Amazon SQS Python SDK查看指定Queue URL对应的队列消息数量，在Amazon GUI控制台中可见该队列存在3条消息，但每次运行代码调用receive_message接口时，最多仅能获取到1条消息。以下是我的代码：

import boto3
import json
from botocore.exceptions import ClientError


def GetSecretKeyAndAccesskey():
    #code to pull secretkey and access key
    return(aws_access_key,aws_secret_key)
# Create SQS client
aws_access_key_id,aws_secret_access_key = GetSecretKeyAndAccesskey()
sqs = boto3.client('sqs',aws_access_key_id=str(aws_access_key_id),aws_secret_access_key=str(aws_secret_access_key) ,region_name='eu-west-1')

response = sqs.receive_message(
    QueueUrl='my_queue_url',
    AttributeNames=[
        'All',
    ],
    MaxNumberOfMessages=10,

)
print(response["Messages"][0])

每次运行代码都会得到不同的消息ID，若尝试打印response["Messages"][1]则会触发列表索引越界错误，说明仅返回了1条消息。运行示例如下：

C:\>python testing.py
d4e57e1d-db62-4fc5-8233-c5576cb2603d

C:\>python testing.py
857858e9-55dc-4d23-aead-3c6622feccc5

核心原因 #

MaxNumberOfMessages参数仅代表SQS最多返回的消息数量，而非固定返回该数量。SQS为了保证服务性能，不会为了凑够指定数量去遍历所有消息分片，因此即使队列中有足够消息，单次调用也可能返回更少的结果。

解决步骤 #

1. 循环获取消息
   要获取队列中所有可用消息，需要循环调用receive_message，直到响应中不再包含Messages字段。

2. 处理可见性超时
   默认情况下，被获取的消息会进入30秒的可见性超时状态，这段时间内其他请求无法获取该消息。如果只是测试查看消息，可缩短超时时间，方便快速重新获取；如果是业务处理，需在消息处理完成后调用delete_message删除，避免消息重复进入队列。

修改后的代码示例 #

import boto3
from botocore.exceptions import ClientError

def GetSecretKeyAndAccesskey():
    # 此处为获取密钥的逻辑
    return aws_access_key, aws_secret_key

# 创建SQS客户端
aws_access_key_id, aws_secret_access_key = GetSecretKeyAndAccesskey()
sqs = boto3.client(
    'sqs',
    aws_access_key_id=str(aws_access_key_id),
    aws_secret_access_key=str(aws_secret_access_key),
    region_name='eu-west-1'
)

queue_url = 'my_queue_url'
while True:
    response = sqs.receive_message(
        QueueUrl=queue_url,
        AttributeNames=['All'],
        MaxNumberOfMessages=10,
        VisibilityTimeout=10  # 缩短超时时间，便于测试时快速重新获取消息
    )
    
    if 'Messages' not in response:
        print("没有更多消息")
        break
    
    # 遍历所有返回的消息
    for message in response['Messages']:
        message_id = message['MessageId']
        print(f"获取到消息ID: {message_id}")
        
        # 若处理完成需删除消息，取消以下注释
        # sqs.delete_message(
        #     QueueUrl=queue_url,
        #     ReceiptHandle=message['ReceiptHandle']
        # )

内容的提问来源于stack exchange，提问作者Whereismywall