循环为不同pandas DataFrame应用不同过滤器输出行数一致问题求助

你遇到的过滤失效、输出行数一致的问题，大概率是以下几个常见原因导致的，按优先级排查：

• 过滤规则读取逻辑错误：循环内target_input路径未随TSV文件更新，每次都读取同一个过滤规则文件；或是openpyxl读取规则时携带空值：max_row会识别带格式的空白行，导致targetProbes中混入None，匹配范围异常扩大
• 字段类型不匹配：probeset_id列在DataFrame中的类型和targetProbes中元素的类型不一致（比如一方是字符串、一方是整数），导致isin匹配全部失败，过滤后行数等于原始行数
• 输出逻辑异常：Excel写入逻辑放在循环外，或是每次写入时复用同一个sheet/对象未清空，导致始终输出第一次的处理结果
• 你手动删除df、清空列表的操作完全不必要，循环内部的变量每次迭代会自动重新赋值，额外操作反而可能引发引用残留问题

按以下步骤修改代码即可解决问题：

1. 先加调试日志定位具体问题，在过滤前后打印关键指标确认逻辑生效：

# 每个循环迭代开始时先打印当前处理的文件，确认路径正确
print(f"当前处理TSV：{calls}，当前过滤规则文件：{target_input}")

# 读取过滤规则时去除空值，统一转为字符串避免类型不匹配
target = load_workbook(target_input, data_only=True) # 加data_only=True避免读取公式原值
target_sheet = target.active    
targetProbes = []
for k in range (2, target_sheet.max_row+1):
    val = target_sheet.cell(k, 1).value
    if val is not None:
        targetProbes.append(str(val))
print(f"当前过滤规则条数：{len(targetProbes)}")

# 读取TSV时指定probeset_id类型为字符串，和过滤规则对齐
tsv_reader = pd.read_csv(calls, delimiter='\t', comment = '#', low_memory=False, dtype={'probeset_id': str})
print(f"原始数据行数：{len(tsv_reader)}")

# 过滤时先打印匹配行数
match_count = tsv_reader['probeset_id'].isin(targetProbes).sum()
print(f"匹配过滤规则的行数：{match_count}")
tsv_reader = tsv_reader[tsv_reader['probeset_id'].isin(targetProbes)].reset_index(drop = True)

2. 检查Excel输出逻辑：如果是输出到不同文件，确保每个循环迭代都新建独立的ExcelWriter对象；如果是输出到同一个文件的不同sheet，确保每个sheet的名称唯一，不要重复写入同一个sheet。

数据结构优化 #

• 提前把所有TSV对应的过滤规则一次性读取存入字典，key为TSV文件名，value为set类型的过滤键集合：set的in查询时间复杂度为O(1)，比列表的O(n)快10倍以上，同时避免每个循环都重复读Excel，大幅提升处理效率
• 大体积TSV可以用pd.read_csv的chunksize参数分块读取过滤，避免内存溢出，适合处理GB级别的TSV文件

流程优化 #

如果输出的是固定模板的Excel报告，建议用openpyxl直接操作模板文件填充数据，比pandas的to_excel更能保留原模板的格式、公式，不需要每次重新设置样式。

内容的提问来源于stack exchange，提问作者eastheart40