R语言如何筛选列表中内容唯一的dataframe并去除重复项

核心逻辑是给每个DataFrame生成内容对应的唯一可哈希标识，通过标识去重，避免O(n²)复杂度的两两比对，具体实现步骤如下：

• 第一步：定义唯一标识生成规则
  要完整匹配DataFrame的内容（含列名、行索引、单元格数值、数据类型），可以用pandas.util.hash_pandas_object分别对列、索引、全量数据做哈希，合并后生成全局唯一的哈希值，只要内容有任意差异，哈希值就会不同。
• 第二步：遍历列表做去重校验
  初始化集合存储已经出现过的哈希值，同时初始化空列表存储去重结果，遍历原列表中的每个DataFrame，计算哈希值后如果未在集合中出现过，就同时加入集合和结果列表，否则跳过。

示例代码 #

import pandas as pd
import hashlib

def generate_df_hash(df):
    # 生成DataFrame内容唯一哈希，可根据需求调整哈希范围
    sha256 = hashlib.sha256()
    # 哈希列名
    sha256.update(pd.util.hash_pandas_object(df.columns).values.tobytes())
    # 哈希行索引，不需要比对索引可删除此行
    sha256.update(pd.util.hash_pandas_object(df.index).values.tobytes())
    # 哈希全量数据
    sha256.update(pd.util.hash_pandas_object(df).values.tobytes())
    return sha256.hexdigest()

# 替换为你自己的DataFrame列表
origin_df_list = [df1, df2, df3, df4]

seen_hashes = set()
unique_df_list = []
for df in origin_df_list:
    cur_hash = generate_df_hash(df)
    if cur_hash not in seen_hashes:
        seen_hashes.add(cur_hash)
        unique_df_list.append(df)

特殊场景调整说明：如果不需要比对索引、列顺序，仅需要单元格数值完全一致就算相同，可以在计算哈希前先对列名排序、重置索引：df = df.sort_index(axis=1).reset_index(drop=True)
小数据量场景也可以直接用df1.equals(df2)两两比对，但列表长度较大时哈希方案效率更高。

内容的提问来源于stack exchange，提问作者Eddytheturtle