PyDESeq2运行dds.deseq2()报错InvalidIndexError，排查索引唯一性问题

问题描述 #

使用pyDESeq2进行差异分析时，运行dds.deseq2()触发报错：

InvalidIndexError: Reindexing only valid with uniquely valued Index objects

同时创建DeseqDataSet时收到警告：

/Users/user/anaconda3/lib/python3.11/site-packages/anndata/_core/anndata.py:1900: UserWarning: Variable names are not unique. To make them unique, call `.var_names_make_unique`.
  utils.warn_names_duplicates("var")

输入的CSV文件结构为（实际13列×24500行）：

使用的代码如下：

from pydeseq2.dds import DeseqDataSet
from pydeseq2.ds import DeseqStats

import pandas as pd

counts = pd.read_csv('filename.csv').set_index('GeneID')
counts # displays the re-indexed data frame

counts = counts[counts.sum(axis = 1) > 0] # filter out rows with 0 
counts # dimension is now 19222 rows x 12 columns
counts = counts.T
counts

metadata = pd.DataFrame(zip(counts.index, ['Het','Het','Het','Het', 'Cre_WT', 'Cre_WT', 'Cre_WT', 'Cre_WT', 'WT_naked','WT_naked','WT_naked','WT_naked']),
                        columns = ['Sample', 'Condition'])

metadata = metadata.set_index('Sample')
metadata

dds = DeseqDataSet(counts=counts,
                  metadata = metadata,
                  design_factors ="Condition")

dds.deseq2()

已尝试操作：

• 检查CSV文件的GeneID索引，未发现重复
• 查阅pyDESeq2文档，未找到需要额外添加的参数

问题根源 #

警告里的var_names not unique是核心原因：
执行counts = counts.T转置后，原数据的行索引（GeneID）变成了DataFrame的列名，也就是pyDESeq2中的var_names（对应基因名）。你之前检查的是转置前的GeneID，但过滤操作后可能仍存在重复的GeneID，或者原始CSV里的GeneID本身有重复（只是未排查彻底），这才触发了后续的索引错误。

解决步骤 #

1. 验证GeneID是否真的唯一 #

在转置前添加代码，精准排查重复情况：

# 检查转置前的GeneID重复数量
print("重复的GeneID数量:", sum(counts.index.duplicated()))
# 查看具体的重复GeneID
print("重复的GeneID列表:", counts.index[counts.index.duplicated()].unique())

2. 处理重复的GeneID #

根据需求选择以下方案之一：

方案一：合并重复GeneID的计数

如果重复的GeneID是同一基因的重复记录，可对其样本计数求和：

# 按GeneID分组，对所有样本计数求和
counts = counts.groupby(counts.index).sum()
# 再次过滤全0行
counts = counts[counts.sum(axis=1) > 0]

方案二：为重复GeneID添加后缀

如果需要保留所有记录，为重复的GeneID添加后缀使其唯一：

# 重置索引后为重复GeneID添加序号后缀
counts = counts.reset_index()
counts['GeneID'] = counts['GeneID'].where(
    ~counts['GeneID'].duplicated(keep=False),
    counts['GeneID'] + '_' + counts.groupby('GeneID').cumcount().add(1).astype(str)
)
counts = counts.set_index('GeneID')
# 再次过滤全0行
counts = counts[counts.sum(axis=1) > 0]

3. 重新执行分析流程 #

处理完重复GeneID后，继续执行后续操作：

counts = counts.T
metadata = pd.DataFrame(zip(counts.index, ['Het','Het','Het','Het', 'Cre_WT', 'Cre_WT', 'Cre_WT', 'Cre_WT', 'WT_naked','WT_naked','WT_naked','WT_naked']),
                        columns = ['Sample', 'Condition'])
metadata = metadata.set_index('Sample')

dds = DeseqDataSet(counts=counts,
                  metadata = metadata,
                  design_factors ="Condition")

dds.deseq2()

额外提示 #

关于下划线转连字符的警告：

Some factor levels in the design contain underscores ('_'). They will be converted to hyphens ('-').

这是pyDESeq2的自动格式调整，不会影响分析结果，无需额外处理。

内容的提问来源于stack exchange，提问作者Caroline