使用Pandas处理多组时变试验数据的最佳方案咨询

嘿，刚接触Pandas的话，这个问题其实挺典型的——很多人一开始都会想着给每组试验单独建DataFrame，但其实这并不是最优方案。咱们一步步来捋清楚哈～

为什么不推荐单独创建多个DataFrame？ #

如果试验次数少（比如2-3组），单独建df可能暂时没问题，但一旦试验组数变多（比如10组以上），你会发现：

• 变量名会变得混乱（比如df1、df2、df3...到后面根本记不清对应哪组试验）
• 后续合并、计算的操作会非常繁琐，要反复写重复的代码
• 数据分散，很难整体查看或筛选特定条件的数据

最优方案：用单个DataFrame统一存储，新增分组列 #

更好的做法是把所有试验数据放进同一个DataFrame，新增一列（比如试验编号）来区分不同的重复试验。如果后续还有不同初始参数（比如不同盐度）的试验，再新增盐度列就行——这样整个数据结构既规整又灵活。

举个贴合你场景的例子：
假设你有3组相同盐度（30‰）的重复试验，每组记录了0-9分钟的pH值变化，我们可以这样构建数据：

import pandas as pd
import numpy as np

# 模拟3组试验数据
# 试验1
time1 = np.arange(0, 10, 1)
ph1 = np.random.normal(7.0, 0.2, size=10)
df1 = pd.DataFrame({'时间': time1, 'pH值': ph1, '试验编号': '试验1', '盐度': 30})

# 试验2
time2 = np.arange(0, 10, 1)
ph2 = np.random.normal(7.1, 0.15, size=10)
df2 = pd.DataFrame({'时间': time2, 'pH值': ph2, '试验编号': '试验2', '盐度': 30})

# 试验3
time3 = np.arange(0, 10, 1)
ph3 = np.random.normal(6.9, 0.25, size=10)
df3 = pd.DataFrame({'时间': time3, 'pH值': ph3, '试验编号': '试验3', '盐度': 30})

# 合并成一个大DataFrame
combined_df = pd.concat([df1, df2, df3], ignore_index=True)

合并后的combined_df结构大概是这样的：

如何合并已有的多个DataFrame？ #

如果你已经手动创建了多个单独的DataFrame，用pd.concat()就能快速合并——只要所有df的列名和结构一致就行：

# 把所有df放进列表，再concat
df_list = [df1, df2, df3, ...]  # 这里可以加任意数量的试验df
combined_df = pd.concat(df_list, ignore_index=True)

ignore_index=True是为了重置合并后的索引，避免出现重复的行号。

怎么计算平均值（或其他统计量）？ #

有了统一的DataFrame，分组计算就非常简单了。比如你想求每个时间点的平均pH值，只需要按时间列分组，再用agg()计算统计量：

# 按时间分组，计算平均pH和标准差（标准差可以用来体现试验的重复性）
stats_df = combined_df.groupby('时间')['pH值'].agg(['mean', 'std']).reset_index()
# 重命名列名，让结果更清晰
stats_df.columns = ['时间', '平均pH值', 'pH标准差']

如果后续你有不同盐度的试验，还可以同时按盐度和时间分组：

# 按盐度+时间分组，计算每组的平均pH
salinity_stats_df = combined_df.groupby(['盐度', '时间'])['pH值'].mean().reset_index()

额外小技巧：批量生成试验数据 #

如果试验组数很多，别手动一个个创建df，用循环批量生成更高效：

combined_df = pd.DataFrame()
target_salinity = 30  # 固定盐度
test_count = 5  # 5组重复试验

for i in range(1, test_count+1):
    time = np.arange(0, 10, 1)
    # 模拟pH值，你可以替换成真实的试验数据
    ph = np.random.normal(7.0, 0.2, size=10)
    temp_df = pd.DataFrame({
        '时间': time,
        'pH值': ph,
        '试验编号': f'试验{i}',
        '盐度': target_salinity
    })
    combined_df = pd.concat([combined_df, temp_df], ignore_index=True)

这样不管你有10组还是100组试验，都能轻松处理～

内容的提问来源于stack exchange，提问作者Teknophilia