You need to enable JavaScript to run this app. Python遍历fastq路径文件时enumerate越界,如何成对处理生成配置?
优惠活动
大模型
产品
解决方案
定价
更多

Python遍历fastq路径文件时enumerate越界,如何成对处理生成配置?

报错的核心原因

你之前的逻辑问题本质是混淆了两类索引的适用场景:

  • 把enumerate返回的文件行列表的索引值,直接用来索引单行字符串line
  • 这时候执行line[index+1]等价于在当前这行的路径字符串里取第index+1个位置的字符(比如取到g、r这类字母),既拿不到下一行的内容,遇到短路径行时还会直接触发索引越界
  • 同时缺少奇偶索引的判断逻辑,会重复把R2行当成R1处理,完全匹配不上两两分组的规则

enumerate的正确实现思路

正确的操作流程是先把所有行整理成独立元素的列表,再基于列表做索引操作,完全避免对单行字符串的错误索引:

  1. 读取test.txt文件时,逐行清理换行符、空行,把所有有效路径存入独立的行列表
  2. 遍历行列表时仅对偶数索引(0、2、4... 对应R1路径的位置)做处理,取当前索引和索引+1对应的两个路径组成一组
  3. 题目给定总行数为偶数,因此idx+1永远存在,不会触发越界

对应的代码实现:

# 读取并清理所有路径行
with open("test.txt", "r", encoding="utf-8") as f:
    all_valid_paths = [line.strip() for line in f if line.strip()]

config_entries = []
for idx, r1_path in enumerate(all_valid_paths):
    # 仅在偶数索引位置处理,跳过R2行的重复计算
    if idx % 2 == 0:
        r2_path = all_valid_paths[idx + 1]
        # 从R1路径提取样本名(按实际文件命名规则调整提取逻辑即可)
        sample_name = r1_path.split("/")[-1].split("_R1")[0]
        # 组装要求的配置结构
        entry = {
            "sample_name": sample_name,
            "readgroup": f"RG_{sample_name}",
            "platform_unit": f"{sample_name}.PU",
            "fastq_1": r1_path,
            "fastq_2": r2_path,
            "library": f"lib_{sample_name}"
        }
        config_entries.append(entry)

用itertools的更优雅实现

针对固定大小两两分组的场景,用itertools可以完全去掉手动索引的逻辑,既减少写错的概率,还能适配大文件的流式读取需求:
核心是写一个通用的批次切分工具,把逐行的迭代器按2个元素切为一组,不需要提前把所有行加载到内存:

from itertools import islice
import json

def batch_split(iterator, batch_size):
    """将输入迭代器按固定大小切分为多个批次,逐批返回"""
    iter_obj = iter(iterator)
    while True:
        batch = tuple(islice(iter_obj, batch_size))
        if not batch:
            break
        yield batch

config_entries = []
# 逐行读取文件,不一次性加载全部内容
with open("test.txt", "r", encoding="utf-8") as f:
    clean_lines = (line.strip() for line in f if line.strip())
    # 每2行组成一组R1/R2配对
    for r1_path, r2_path in batch_split(clean_lines, 2):
        sample_name = r1_path.split("/")[-1].split("_R1")[0]
        entry = {
            "sample_name": sample_name,
            "readgroup": f"RG_{sample_name}",
            "platform_unit": f"{sample_name}.PU",
            "fastq_1": r1_path,
            "fastq_2": r2_path,
            "library": f"lib_{sample_name}"
        }
        config_entries.append(entry)

# 最终可直接导出为标准JSON文件
with open("fastq_config.json", "w", encoding="utf-8") as f:
    json.dump(config_entries, f, indent=2, ensure_ascii=False)

这种写法的优势:

  • 全程不需要手动维护索引,从根源杜绝索引越界、取单个字符的错误
  • 用生成器流式读取,即使test.txt里存了上万条路径,也不会占用过高内存
  • 分组逻辑和业务逻辑解耦,后续调整分组规则时只需修改batch_split的batch_size参数即可

内容的提问来源于stack exchange,提问作者moth

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 18:57:02