使用Pandas去除DataFrame中重复序列对的问题求助

我帮你定位到了问题根源，同时优化了代码逻辑，完美匹配你的需求：

核心问题分析 #

你代码里的一个低级错误导致了结果异常：在drop_duplicates的subset参数中，'qseqid '后面多了一个空格！这会让Pandas无法识别正确的列名，相当于只按sseqid单列去重，直接把大量本该保留的跨cluster有效行误删了。

另外，从你的预期结果来看，你需要在每个cluster内部去除反向重复的序列对，所以去重时必须把cluster_name也加入到去重依据中，避免不同cluster的相同序列对被误删。

修正后的完整代码 #

import pandas as pd
import numpy as np

# 读取原始数据（确保分隔符是制表符，与你的文件格式匹配）
df = pd.read_table("dataframe.txt", header=0, sep='\t')

# 对每行的qseqid和sseqid进行排序，消除A-B和B-A的反向重复差异
df[['qseqid', 'sseqid']] = np.sort(df[['qseqid', 'sseqid']], axis=1)

# 去除重复项：依据cluster_name+qseqid+sseqid组合，保留每组重复的第一行
df = df.drop_duplicates(subset=['cluster_name', 'qseqid', 'sseqid'], keep='first')

# 保存结果（index=False避免生成多余的索引列）
df.to_csv("df_test", sep='\t', index=False)

关键优化说明 #

1. 修复列名空格：去掉qseqid后面的空格，确保Pandas能正确识别目标列
2. 增加cluster去重维度：把cluster_name加入去重依据，保证不同cluster的相同序列对不会被误删
3. 保留首行逻辑：默认的keep='first'会保留每组重复项中的第一行，完全匹配你预期结果的保留规则

运行这段代码后，就能得到你想要的包含不同cluster有效行的结果啦！

内容的提问来源于stack exchange，提问作者Grendel