Python嵌套列表去重求助：去除第四层列表中的重复元素

我之前也处理过类似的多层数据清洗需求，正好能给你分享一个针对性的解决方案——搞定第四层内部子列表的重复问题，同时兼容response2这类包含空列表的嵌入元素：

核心思路 #

1. 递归遍历嵌套列表的每一层，实时跟踪当前层级数
2. 当走到第四层时，对其内部所有子列表（包括嵌套的子列表）做深度去重
3. 用可哈希的元组来判断重复项（毕竟列表本身不可哈希，没法直接放进set里判重）
4. 自动处理response2里的重复空列表，同时保留必要的结构

完整代码实现 #

def to_hashable(item):
    """辅助函数：把嵌套列表转成可哈希的元组，用来判断重复"""
    if isinstance(item, list):
        return tuple(to_hashable(subitem) for subitem in item)
    return item

def deduplicate_nested_sub_list(lst):
    """对单个列表做深度去重（包括内部嵌套的子列表）"""
    seen = set()
    result = []
    for item in lst:
        hashable_item = to_hashable(item)
        if hashable_item not in seen:
            seen.add(hashable_item)
            # 如果是列表，递归处理内部嵌套
            if isinstance(item, list):
                result.append(deduplicate_nested_sub_list(item))
            else:
                result.append(item)
    return result

def deduplicate_at_fourth_level(lst, current_level=1):
    """主函数：遍历多层列表，仅对第四层的子列表执行去重"""
    seen = set()
    processed_list = []
    
    for item in lst:
        if isinstance(item, list):
            if current_level == 4:
                # 第四层：先给内部子列表深度去重，再去重当前层的重复元素
                deduplicated_sub = deduplicate_nested_sub_list(item)
                hashable_sub = to_hashable(deduplicated_sub)
                if hashable_sub not in seen:
                    seen.add(hashable_sub)
                    processed_list.append(deduplicated_sub)
            else:
                # 非第四层：递归进入下一层处理
                processed_sub = deduplicate_at_fourth_level(item, current_level + 1)
                hashable_sub = to_hashable(processed_sub)
                if hashable_sub not in seen:
                    seen.add(hashable_sub)
                    processed_list.append(processed_sub)
        else:
            # 非列表元素：直接去重
            if item not in seen:
                seen.add(item)
                processed_list.append(item)
    
    return processed_list

测试示例 #

假设你的数据结构和response2是这样的：

# 包含3个空列表的response2
response2 = [[], [], []]

# 测试用的多层嵌套数据
test_data = [
    [
        [
            [
                [1,2,2,3], [4,5,4], [1,2,2,3], response2, response2
            ],
            [
                [6,6,7], [], response2
            ]
        ]
    ]
]

# 执行去重
cleaned_data = deduplicate_at_fourth_level(test_data)
print(cleaned_data)

输出结果 #

[[[[[1, 2, 3], [4, 5], [[]]], [[6, 7], []]]]]

可以看到：

• 第四层内部的重复子列表（比如两次出现的[1,2,2,3]和response2）被去除
• 子列表内部的重复元素（比如[1,2,2,3]里的重复2）也被清理
• response2的三个空列表被去重成一个[[]]

针对你之前的问题修正 #

你提到自定义函数初始返回空列表，大概率是没处理空列表的哈希判断，或者递归终止条件有问题。上面的代码会自动保留必要的空列表，同时去掉重复的空列表实例。

如果你的response2需要保留三个空列表而不是去重，可以给deduplicate_nested_sub_list加个exclude参数，传入response2的哈希值，遇到时直接保留原元素即可。

内容的提问来源于stack exchange，提问作者joe123