基于无序/不可排序列表列合并DataFrames的技术问询

问题核心 #

需要将两个DataFrame基于Info列合并，该列存储无序且不可排序的列表，只要列表的元素集合完全相同（不考虑元素顺序），就视为匹配项，将第二个DataFrame的add_info字段补充到第一个DataFrame中。

解决方案思路 #

由于列表是不可哈希类型，无法直接作为合并键，且我们只关心元素集合是否一致，因此可以将Info列转换为**不可变的集合类型（frozenset）**作为临时合并键——frozenset既保留了集合“不考虑元素顺序”的特性，又具备可哈希性，能作为pandas合并操作的键。

代码实现 #

1. 准备示例数据

import pandas as pd

# 第一个DataFrame（含id和Info列）
df1 = pd.DataFrame({
    'id': [1, 2, 3],
    'Info': [['a', 'b', 'c'], ['x', 'y'], ['m', 'n', 'p']]
})

# 第二个DataFrame（含add_info和Info列）
df2 = pd.DataFrame({
    'add_info': ['info_abc', 'info_xy', 'info_mnp'],
    'Info': [['b', 'a', 'c'], ['y', 'x'], ['p', 'm', 'n']]
})

2. 添加临时合并键

将两个DataFrame的Info列转换为frozenset，生成临时键列：

df1['temp_key'] = df1['Info'].apply(frozenset)
df2['temp_key'] = df2['Info'].apply(frozenset)

3. 执行合并并清理

基于临时键执行左合并（保留df1的所有行），之后移除临时键列：

# 合并仅保留df2的temp_key和add_info字段，避免列重复
merged_df = pd.merge(df1, df2[['temp_key', 'add_info']], on='temp_key', how='left')
# 删除临时键列
merged_df = merged_df.drop('temp_key', axis=1)

4. 查看结果

print(merged_df)

输出结果：

id          Info  add_info
0   1  [a, b, c]  info_abc
1   2     [x, y]   info_xy
2   3  [m, n, p]  info_mnp

特殊情况说明 #

如果Info列的列表包含重复元素，且需要考虑元素出现次数（即多重集合匹配），可以将列表转换为sorted后的元组（确保相同元素顺序一致），再作为临时键：

# 针对含重复元素的场景，用排序后的元组作为键
df1['temp_key'] = df1['Info'].apply(lambda x: tuple(sorted(x)))
df2['temp_key'] = df2['Info'].apply(lambda x: tuple(sorted(x)))

内容的提问来源于stack exchange，提问作者Yieh Yan