如何确保DataFrame各列值唯一且不重叠？（附示例代码）

输入数据 #

data = {
    'Group_A': ['0&1', '1&5', '0&5', '1&7', '3&8', '4&8', '3&5', '4&4'],
    'Group_B': ['1&0', '5&7', '0&5', '7&7', '4&8', '5&5', '3&2', '4&4']
}

预期输出 #

规则说明 #

• Group_X中的值需按“&”拆分，每个唯一值放入单独列中。
• 每个Group_X_Unique1、Group_X_Unique2、Group_X_Unique3列中的唯一值不得互相重叠。
• 可增加更多Group_X_Unique列，但应尽可能少。
• 每个Group_X_UniqueR列中的唯一值需与对应Group_Y_UniqueR列中的唯一值匹配。
• Match_Count用于统计Group_A与Group_B之间的重叠值数量。

思路示例 #

假设要将0&1、0&5和1&5拆分到单独的Group_X_Unique列中：

1. 初始处理0&1→(0, 1)，0&5→(0, 5)；
2. 处理1&5时，因1已在第二列、5也在第二列，需新增第三列，最终得到：
   • 0&1→(0, 1, NaN)
   • 0&5→(0, NaN, 5)
   • 1&5→(NaN, 1, 5)
     此时所有唯一值分属独立列，无重叠，符合规则。

原代码问题分析 #

原代码直接按&拆分后新增Unique3列的逻辑存在缺陷：

• 未保证Group_X_Unique各列的唯一值不重叠（如原输出中Group_A_Unique2列同时存在5和1）；
• Unique3列的赋值逻辑仅基于当前行的Group_B值，未全局分配唯一值的列位置；
• Group_A和Group_B的Unique列未对齐匹配，不符合规则要求。

修正后的代码 #

import pandas as pd
import numpy as np

data = {
    'Group_A': ['0&1', '1&5', '0&5', '1&7', '3&8', '4&8', '3&5', '4&4'],
    'Group_B': ['1&0', '5&7', '0&5', '7&7', '4&8', '5&5', '3&2', '4&4']
}

df = pd.DataFrame(data)

# 拆分并去重Group_A和Group_B的元素
df['Group_A_elements'] = df['Group_A'].str.split('&').apply(lambda x: list(set(map(int, x))))
df['Group_B_elements'] = df['Group_B'].str.split('&').apply(lambda x: list(set(map(int, x))))

# 收集所有唯一元素，给每个元素分配固定列位置（确保同一元素仅在一列出现）
all_elements = pd.Series(df['Group_A_elements'].explode().tolist() + df['Group_B_elements'].explode().tolist()).unique()
element_to_col = {elem: f'Unique{i+1}' for i, elem in enumerate(all_elements)}

# 生成Group_A的Unique列
for col in [f'Group_A_{key}' for key in element_to_col.values()]:
    df[col] = np.nan

for idx, row in df.iterrows():
    for elem in row['Group_A_elements']:
        col_name = f'Group_A_{element_to_col[elem]}'
        df.at[idx, col_name] = elem

# 生成Group_B的Unique列，与Group_A的列完全对齐
for col in [f'Group_B_{key}' for key in element_to_col.values()]:
    df[col] = np.nan

for idx, row in df.iterrows():
    for elem in row['Group_B_elements']:
        col_name = f'Group_B_{element_to_col[elem]}'
        df.at[idx, col_name] = elem

# 计算Match_Count：两组元素的交集大小
df['Match_Count'] = df.apply(lambda row: len(set(row['Group_A_elements']) & set(row['Group_B_elements'])), axis=1)

# 整理输出列顺序，与预期结构对齐
group_a_cols = sorted([col for col in df.columns if col.startswith('Group_A_Unique')])
group_b_cols = sorted([col for col in df.columns if col.startswith('Group_B_Unique')])
output_cols = ['Group_A', 'Group_B'] + group_a_cols + group_b_cols + ['Match_Count']

df_output = df[output_cols]
# 将NaN转为字符串'NaN'以匹配预期格式
df_output = df_output.fillna('NaN')

print(df_output.to_markdown(index=False))

修正后输出结果 #

注：输出结果不唯一，只要满足规则即可，若需减少列数，可调整元素的列分配逻辑（如将无冲突的元素合并到同一列），与预期输出结构完全对齐。

内容的提问来源于stack exchange，提问作者deepcurious