Python中多实验矩阵数据的合适数据结构选型咨询

这个场景太典型了，你选pandas DataFrame的思路完全找对了方向！下面给你梳理几种最适配的批量管理方案，按需选就行：

1. 首选：列表（List）存储DataFrame #

如果你的4个实验是按顺序流程处理，不需要随时按名称调取某份数据，列表绝对是最省心的选择：

• 优点：顺序明确、遍历方便、代码极简，完全避免硬编码变量名
• 核心逻辑：遍历每个实验文件夹，读取矩阵+行/列名后组合成DataFrame，逐个塞进列表

给你贴个可直接复用的代码示例：

import pandas as pd
import os
import matplotlib.pyplot as plt

# 假设你的实验文件夹都在同一根目录下
experiment_folders = ["exp1", "exp2", "exp3", "exp4"]
data_list = []

# 批量读取并生成带行/列名的DataFrame
for folder in experiment_folders:
    # 读取三个文件（这里假设文件名固定，可根据你的实际情况修改）
    matrix = pd.read_csv(os.path.join(folder, "matrix.txt"), sep="\t", header=None)
    rows = pd.read_csv(os.path.join(folder, "rows.txt"), header=None)[0].tolist()
    cols = pd.read_csv(os.path.join(folder, "cols.txt"), header=None)[0].tolist()
    
    # 给矩阵绑定行/列名
    df = matrix.set_axis(rows, axis=0)
    df = df.set_axis(cols, axis=1)
    
    data_list.append(df)

# 批量绘制子图示例
fig, axes = plt.subplots(2, 2, figsize=(10, 8))
axes = axes.flatten()

for idx, df in enumerate(data_list):
    axes[idx].imshow(df.values, cmap="viridis")
    axes[idx].set_title(f"Experiment {idx+1}")
    axes[idx].set_xticks(range(len(df.columns)))
    axes[idx].set_xticklabels(df.columns, rotation=45)
    axes[idx].set_yticks(range(len(df.index)))
    axes[idx].set_yticklabels(df.index)

plt.tight_layout()
plt.show()

# 对比实验1和实验2的矩阵差异示例
diff_df = data_list[0] - data_list[1]
print("Exp1 vs Exp2 差异矩阵：")
print(diff_df)

2. 备选：字典（Dictionary）存储DataFrame #

如果后续需要随时通过实验名称调取数据（比如要快速对比exp1和exp3），字典会更灵活：

• 优点：可以给每个实验命名，可读性拉满，方便按名称精准索引
• 核心逻辑：把文件夹名作为字典的键，对应的DataFrame作为值存入

代码片段示例：

data_dict = {}

for folder in experiment_folders:
    # 读取文件、生成DataFrame的步骤和上面一致
    # ...
    data_dict[folder] = df

# 直接按名称调取数据
print("Exp3的原始矩阵：")
print(data_dict["exp3"])

# 精准对比指定实验
diff_df = data_dict["exp1"] - data_dict["exp3"]

3. 进阶：自定义类（Class） #

如果你的实验还有额外元数据（比如实验参数、环境备注等），可以自定义类来封装所有相关信息：

class ExperimentData:
    def __init__(self, name, df, parameters=None):
        self.name = name
        self.df = df
        self.parameters = parameters or {}

# 生成实验实例列表
exp_list = []
for folder in experiment_folders:
    # 读取文件生成df
    # ...
    # 假设还有参数文件需要读取
    params = pd.read_csv(os.path.join(folder, "params.txt"), sep="=", header=None).set_index(0)[1].to_dict()
    exp = ExperimentData(name=folder, df=df, parameters=params)
    exp_list.append(exp)

# 访问带元数据的实验信息
for exp in exp_list:
    print(f"实验{exp.name}的参数配置：{exp.parameters}")
    print(f"实验{exp.name}的矩阵数据：")
    print(exp.df)

总结 #

• 简单批量处理选列表，省心又高效
• 需要按名称索引选字典，可读性更强
• 有复杂元数据管理需求选自定义类

你一开始考虑的pandas DataFrame是绝对核心，它天然支持行/列名绑定，和matplotlib、seaborn等可视化工具的兼容性拉满，完美适配你的绘图、对比需求。

内容的提问来源于stack exchange，提问作者Yury Nazarov