You need to enable JavaScript to run this app. pandas处理BLAST hittable时duplicated()返回非重复Accession条目问题
优惠活动
大模型
产品
解决方案
定价
更多

pandas处理BLAST hittable时duplicated()返回非重复Accession条目问题

核心问题原因

  1. 最可能的触发点是变量名大小写不匹配:你代码中第二步存储重复条目的变量名为全小写的filedupes,第三步导出时使用的是首字母大写的fileDupes。Python对变量名大小写敏感,二者是完全独立的变量,如果你的运行环境中之前曾给fileDupes赋值过其他数据(比如全量数据表、其他筛选结果),导出的就不是你刚筛选的重复条目,自然会混入无关的唯一Accession行。
  2. 次要可能原因:
    • Accession列存在不可见空白字符:导入数据时如果Accession首尾带空格、制表符等不可见字符,肉眼查看时会误认为两个序列是相同/唯一的,但pandas会将带空白和不带空白的同编号判定为不同值,可能导致筛选逻辑和你预期不符。
    • duplicated参数不符合需求:duplicated()默认参数为keep='first',仅会标记除第一次出现之外的重复项,如果你预期要提取所有出现过至少2次的Accession对应的全部行,默认参数的筛选结果本身就不符合你的需求。

解决步骤

  1. 先修正变量名大小写问题,统一变量命名规则,避免调用到旧的缓存变量:
# 统计重复数量,keep=False标记所有出现过重复的条目
print(file.Accession.duplicated(keep=False).sum())
# 提取所有Accession重复的条目(包含第一次出现的重复条目)
filedupes = file.loc[file.Accession.duplicated(keep=False)]
# 导出时用同一个变量名,index=False可以去掉多余的索引列
filedupes.to_csv('Filedupes.csv', sep='\t', encoding='utf-8', index=False)
  1. 清洗Accession列,排除不可见字符干扰:
    在执行重复判断前先对Accession列做去空白处理:
file['Accession'] = file['Accession'].str.strip()
  1. 提前做校验,避免导出错误结果:
    筛选完成后先校验结果是否符合预期,确认没有唯一Accession混入:
# 统计筛选结果中每个Accession的出现次数
accession_counts = filedupes['Accession'].value_counts()
# 输出出现次数小于2的Accession,如果为空说明筛选正确
print(accession_counts[accession_counts < 2])
# 也可以单独校验你怀疑的唯一Accession在原始表中的出现次数
# print(file[file['Accession'] == '你怀疑的唯一Accession编号'].shape[0])

内容的提问来源于stack exchange,提问作者Fitzy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 01:54:02