如何处理CloudWatch Logs写入时未知数量的nextTokens及重试异常问题
sequenceToken作用说明
sequenceToken是CloudWatch Logs用于保证日志流写入顺序性的校验标识:
- 每个日志流在首次写入时不需要携带sequenceToken
- 每次成功调用
put_log_events接口后,响应中会返回nextSequenceToken,下一次写入同一个日志流时必须携带该token,服务端会校验该token是否与当前日志流的最新写入标识匹配 - 当多个进程/请求同时写入同一个日志流时,先写入成功的请求会更新服务端的最新标识,后请求携带的旧token就会触发
InvalidSequenceTokenException,异常响应中会返回服务端当前期望的正确expectedSequenceToken
现有代码问题分析
- 单重试层级问题:仅在except块做一次重试,若重试时再次遇到并发写入冲突,会直接抛出异常导致日志丢失
- 注释代码重复写入原因:原有循环逻辑只要存在
nextSequenceToken就重复发送同一条日志,而nextSequenceToken每次成功写入后都会返回非空值,会进入死循环重复写入同一条日志,不符合业务预期
修复后实现方案
采用带最大重试次数的循环逻辑,仅在写入失败时重试同一条日志,成功后直接处理下一条,避免重复写入和单次重试失效问题,参考代码如下:
import botocore MAX_RETRY = 3 # 可根据并发场景调整最大重试次数 for event in log_dict['logEvents']: sequence_token = None retry_count = 0 write_success = False while not write_success and retry_count < MAX_RETRY: try: put_params = { "logGroupName": log_group_name, "logStreamName": stream_name, "logEvents": [ { "timestamp": event["timestamp"], "message": event["message"] } ] } # 存在token时携带token参数 if sequence_token: put_params["sequenceToken"] = sequence_token response = cloudwatch.put_log_events(**put_params) write_success = True # 若批量写入多条可在这里记录nextSequenceToken给下一条用,减少重试概率 # next_sequence_token = response["nextSequenceToken"] except botocore.client.ClientError as e: if e.response["Error"]["Code"] == "InvalidSequenceTokenException": # 从异常中获取期望的token,准备重试 sequence_token = e.response["expectedSequenceToken"] retry_count += 1 else: # 其他类型错误直接抛出 raise e if not write_success: # 超过重试次数可自行记录告警,避免程序中断 print(f"日志写入失败,超过最大重试次数,event内容:{event}")
补充优化建议
如果日志量较大,建议将多条日志批量聚合后一次性调用put_log_events,单批次最多支持1万条日志/1MB大小,可大幅减少接口调用次数和token冲突概率。
内容的提问来源于stack exchange,提问作者leed38
相关产品推荐
相关产品推荐

