AWS FSxN备份脚本start_backup_jobs()重复执行四次问题求助

可能的原因及排查步骤 #

1. 验证过滤后的卷列表是否重复 #

先在get_filtered_volumes_and_tags()函数末尾添加打印逻辑，确认返回的卷ARN是否存在重复：

def get_filtered_volumes_and_tags():
    # 原有业务逻辑
    filtered_volumes = ... # 你的过滤处理代码
    # 添加打印输出
    print(f"过滤后卷ARN列表: {[vol['arn'] for vol in filtered_volumes]}")
    return filtered_volumes

运行脚本后如果看到同一个ARN出现多次，说明上游的卷获取逻辑或当前过滤逻辑存在重复数据问题。

2. 跟踪start_backup_jobs()的调用次数 #

在start_backup_jobs()函数开头添加计数打印，明确函数被调用的次数：

call_count = 0
def start_backup_jobs(volumes):
    global call_count
    call_count +=1
    print(f"start_backup_jobs 已调用 {call_count} 次，当前处理 {len(volumes)} 个卷")
    # 原有备份任务创建逻辑

如果输出显示函数被调用2次，每次处理2个卷，那总任务数自然会变成4，此时需要检查主流程代码是否重复调用了该函数。

3. 排查AWS SDK分页导致的重复获取 #

如果get_volume_arns()使用了AWS SDK的分页器，要确保没有重复拼接相同的卷数据：

def get_volume_arns():
    client = boto3.client('fsx')
    paginator = client.get_paginator('describe_volumes')
    volume_arns = []
    seen_arns = set() # 用集合去重
    for page in paginator.paginate():
        for volume in page['Volumes']:
            arn = volume['VolumeArn']
            if arn not in seen_arns:
                seen_arns.add(arn)
                volume_arns.append(arn)
    return volume_arns

通过集合去重，避免分页返回重复的卷ARN。

4. 检查标签过滤逻辑的正确性 #

确认get_filtered_volumes_and_tags()中的标签过滤条件是否导致同一个卷被多次匹配，比如标签判断逻辑是否存在漏洞：

def get_filtered_volumes_and_tags():
    volume_arns = get_volume_arns()
    filtered = []
    client = boto3.client('fsx')
    for arn in volume_arns:
        tags = client.list_tags_for_resource(ResourceArn=arn)['Tags']
        # 示例过滤条件：存在Key为'Backup'且Value为'Yes'的标签
        has_target_tag = any(tag['Key'] == 'Backup' and tag['Value'] == 'Yes' for tag in tags)
        if has_target_tag:
            filtered.append({'arn': arn, 'tags': tags})
    # 对过滤结果按ARN去重
    unique_filtered = []
    seen_arns = set()
    for item in filtered:
        if item['arn'] not in seen_arns:
            seen_arns.add(item['arn'])
            unique_filtered.append(item)
    return unique_filtered

确保同一个卷不会因为标签遍历逻辑被多次加入结果列表。

5. 排查执行环境的重复触发 #

如果脚本运行在Lambda、定时任务或容器中，检查是否存在重复执行的情况：

• Lambda：查看CloudWatch日志，确认是否有多次触发记录
• 定时任务：检查cron表达式是否设置错误，导致重复触发
• 本地脚本：确认是否被误操作多次启动

解决方法总结 #

1. 为get_volume_arns()和get_filtered_volumes_and_tags()的结果添加去重逻辑，确保每个卷ARN只出现一次
2. 在关键函数中添加调用次数和参数打印，定位重复执行的源头
3. 检查主流程代码，确保start_backup_jobs()只被调用一次
4. 验证执行环境是否存在重复触发的配置问题

内容的提问来源于stack exchange，提问作者Karn Kumar