如何基于阈值从Excel列中识别并存储超集与子集关系？

原始数据 #

匹配规则与期望输出 #

规则 #

• 超集自身不被标记为子集
• 仅当子集元素占超集元素的比例≥50%时，才纳入对应关系（例如B是A,B,D,E,F的子集，但1/5=0.2低于阈值，因此不纳入）

期望输出 #

现有代码问题 #

你提供的代码无法正确生成包含sub-ids的结果，且逻辑存在偏差，以下是修正后的实现：

修正后的代码 #

import pandas as pd

# 初始化数据
df = pd.DataFrame({
    'id': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'letter': ['A, B, D, E, F','B, C','B','D, B','B, D, A','X, Y, Z','X, Y','E, D','G','G']
})

# 将letter列转换为集合，方便子集判断
df['letter_set'] = df['letter'].apply(lambda x: set(item.strip() for item in x.split(',')))
# 存储每个超集对应的子集id
superset_subs = {}

# 遍历所有两两组合
for i, row1 in df.iterrows():
    sub_ids = []
    for j, row2 in df.iterrows():
        # 跳过自身
        if row1['id'] == row2['id']:
            continue
        # 判断row2的集合是否是row1的子集
        if row2['letter_set'].issubset(row1['letter_set']):
            # 计算比例
            ratio = len(row2['letter_set']) / len(row1['letter_set'])
            if ratio >= 0.5:
                sub_ids.append(str(row2['id']))
    if sub_ids:
        superset_subs[row1['id']] = ', '.join(sub_ids)

# 生成结果DataFrame
result_df = df[['id', 'letter']].copy()
result_df['sub-ids'] = result_df['id'].map(superset_subs).fillna('')
# 过滤掉没有对应子集的行
result_df = result_df[result_df['sub-ids'] != '']
# 处理重复的letter（比如id9和10都是G，保留一个即可）
result_df = result_df.drop_duplicates(subset='letter', keep='first')

print(result_df)

代码说明 #

1. 数据预处理：把letter列的字符串转换为集合，利用集合的issubset方法快速判断子集关系
2. 遍历匹配：两两对比每一行数据，跳过自身，判断子集关系并计算比例是否满足≥50%的阈值，收集符合条件的子集id
3. 结果生成：将收集到的子集id映射到原始数据，过滤无对应子集的行，去重后得到最终结果

运行上述代码后，输出将与期望的表格一致。

内容的提问来源于stack exchange，提问作者abcabc