pandas处理BLAST hittable时duplicated()返回非重复Accession条目问题
核心问题原因
- 最可能的触发点是变量名大小写不匹配:你代码中第二步存储重复条目的变量名为全小写的
filedupes,第三步导出时使用的是首字母大写的fileDupes。Python对变量名大小写敏感,二者是完全独立的变量,如果你的运行环境中之前曾给fileDupes赋值过其他数据(比如全量数据表、其他筛选结果),导出的就不是你刚筛选的重复条目,自然会混入无关的唯一Accession行。 - 次要可能原因:
- Accession列存在不可见空白字符:导入数据时如果Accession首尾带空格、制表符等不可见字符,肉眼查看时会误认为两个序列是相同/唯一的,但pandas会将带空白和不带空白的同编号判定为不同值,可能导致筛选逻辑和你预期不符。
- duplicated参数不符合需求:
duplicated()默认参数为keep='first',仅会标记除第一次出现之外的重复项,如果你预期要提取所有出现过至少2次的Accession对应的全部行,默认参数的筛选结果本身就不符合你的需求。
解决步骤
- 先修正变量名大小写问题,统一变量命名规则,避免调用到旧的缓存变量:
# 统计重复数量,keep=False标记所有出现过重复的条目 print(file.Accession.duplicated(keep=False).sum()) # 提取所有Accession重复的条目(包含第一次出现的重复条目) filedupes = file.loc[file.Accession.duplicated(keep=False)] # 导出时用同一个变量名,index=False可以去掉多余的索引列 filedupes.to_csv('Filedupes.csv', sep='\t', encoding='utf-8', index=False)
- 清洗Accession列,排除不可见字符干扰:
在执行重复判断前先对Accession列做去空白处理:
file['Accession'] = file['Accession'].str.strip()
- 提前做校验,避免导出错误结果:
筛选完成后先校验结果是否符合预期,确认没有唯一Accession混入:
# 统计筛选结果中每个Accession的出现次数 accession_counts = filedupes['Accession'].value_counts() # 输出出现次数小于2的Accession,如果为空说明筛选正确 print(accession_counts[accession_counts < 2]) # 也可以单独校验你怀疑的唯一Accession在原始表中的出现次数 # print(file[file['Accession'] == '你怀疑的唯一Accession编号'].shape[0])
内容的提问来源于stack exchange,提问作者Fitzy
相关产品推荐
相关产品推荐

