遍历6000+个DataFrame:构建字典并将各文件copy_number追加到对应gene_id键下
可直接落地的实现方案
原代码存在的核心问题
- 直接调用
df.to_dict()生成的字典是按列嵌套的结构(格式为{'列名': {行号: 值}}),完全不符合以gene_id为键、存储对应copy_number序列的需求。 - 循环部分存在语法错误:for循环缩进异常、读取文件时变量名不匹配。
- 没有实现值追加、键匹配校验的核心逻辑。
完整实现代码
import glob import pandas as pd # 定义文件路径 genelevelpath = '/Users/user/myfiles/' # 按文件名排序文件列表,保证读取顺序固定 allfiles = sorted(glob.glob(genelevelpath + '/*.tsv')) # 用第一个文件初始化目标字典 first_df = pd.read_csv(allfiles[0], sep='\t') # 初始化结构:每个gene_id对应一个列表,先存入第一个文件的copy_number值 copy_record_dict = { gene_id: [copy_num] for gene_id, copy_num in zip(first_df['gene_id'], first_df['copy_number']) } # 记录标准gene_id集合,用于后续匹配校验 standard_gene_ids = set(copy_record_dict.keys()) # 遍历剩余所有文件 for file_path in allfiles[1:]: curr_df = pd.read_csv(file_path, sep='\t') # 校验当前文件的gene_id集合是否和标准集合完全匹配 curr_gene_ids = set(curr_df['gene_id']) if curr_gene_ids != standard_gene_ids: missing_ids = standard_gene_ids - curr_gene_ids extra_ids = curr_gene_ids - standard_gene_ids raise ValueError(f"文件{file_path}的gene_id不匹配:缺失{missing_ids},多余{extra_ids}") # 逐行将copy_number追加到对应gene_id的列表中 for gene_id, copy_num in zip(curr_df['gene_id'], curr_df['copy_number']): copy_record_dict[gene_id].append(copy_num)
效果说明
- 最终生成的
copy_record_dict完全符合预期:每个gene_id键对应的值是一个有序列表,按文件读取顺序依次存储该基因在所有文件中的copy_number值,比如示例中ENSG00000223972.5对应的存储值为[nan, 3.0]。 - 如果不需要强制中断不匹配的文件,可以将校验逻辑中的报错替换为警告日志,跳过存在基因不匹配的文件继续执行。
- 针对6000个文件的场景,该实现方式不需要将所有数据加载到内存,单文件逐行处理的内存占用极低,不会出现内存溢出问题。
内容的提问来源于stack exchange,提问作者Alicia Pliego
相关产品推荐
相关产品推荐

