使用Lambda(Python)无法获取全部SQS消息，仅能读取部分队列内容

你的代码存在几个关键问题，导致无法获取SQS队列中的全部消息：

• 仅调用一次receive_message：每次Lambda执行仅获取最多10条消息，队列中剩余消息不会被处理，除非Lambda再次触发。
• 未删除已处理消息：处理完消息后未调用delete_message，消息会在VisibilityTimeout（此处设为0，立刻回到队列）后重新可见，既会导致重复读取，也会让队列始终存在未清理的消息，干扰后续读取。
• VisibilityTimeout设置为0：消息被读取后立即回到可见状态，可能被其他消费者重复获取，同时也会导致同一消息被当前Lambda多次读取，打乱处理流程。

import json
import pymssql
import boto3

sqs_client = boto3.client('sqs')
QUEUE_URL = "queurlXXX.fifo"

def lambda_handler(event, context):
    # 复用数据库连接，避免每次处理消息都创建新连接
    conn = pymssql.connect(host='DB Credentials', database='DbNAme', port='1433')
    cursor = conn.cursor()
    
    try:
        while True:
            # 调整VisibilityTimeout为合理值，给消息处理留足够时间
            response = sqs_client.receive_message(
                QueueUrl=QUEUE_URL,
                MaxNumberOfMessages=10,
                WaitTimeSeconds=20,  # 长轮询减少空请求次数
                VisibilityTimeout=30
            )
            
            messages = response.get("Messages", [])
            if not messages:
                # 队列无更多消息，退出循环
                break
                
            for message in messages:
                message_body = message["Body"]
                ip_json = json.loads(message_body)
                op_json = json.dumps(ip_json)
                
                if op_json:
                    # 使用消息实际的MessageId，替换硬编码值
                    cursor.execute("""
                        INSERT INTO [table]([MessageId],[Document],[IsProcessed],[CreatedUtc],[CreatedBy],[ModifiedUtc],[ModifiedBy]) 
                        VALUES(%s, %s, 1, GETUTCDATE(), 'system', GETUTCDATE(), 'system');
                    """, (message['MessageId'], op_json))
                    conn.commit()
                
                # 处理完成后删除消息，避免重复读取
                sqs_client.delete_message(
                    QueueUrl=QUEUE_URL,
                    ReceiptHandle=message['ReceiptHandle']
                )
                
    finally:
        # 确保数据库连接关闭
        cursor.close()
        conn.close()
    
    return "Queue processed completely"

• 循环读取消息：通过while True循环调用receive_message，直到队列中无剩余消息，确保所有消息都被处理。
• 删除已处理消息：每次处理完成后调用delete_message，将消息从队列中移除，彻底避免重复处理。
• 调整VisibilityTimeout：设置为30秒（可根据实际处理耗时调整），保证消息在处理期间不会被其他消费者读取。
• 复用数据库连接：将数据库连接移至循环外，减少连接创建开销，提升处理效率。
• 使用真实MessageId：替换硬编码的'messageid'为消息自带的MessageId，保证数据准确性。

如果是通过SQS直接触发Lambda的场景，建议直接使用event['Records']中的消息，而非手动调用receive_message，这种方式更符合SQS-Lambda集成的最佳实践，Lambda会自动批量获取并分发消息。另外，需注意Lambda的最大执行时间限制（默认15分钟），若队列消息量极大，单次Lambda执行无法处理完所有消息，可依赖SQS的自动触发机制，让Lambda多次执行处理剩余消息。

内容的提问来源于stack exchange，提问作者Twinkle Sebastain