使用DataFrame Groupby时保留空（None）DataFrame的方法

你的问题核心在于pd.concat会自动跳过空DataFrame，导致后续标准化后的结果丢失了原列表中空元素的位置。要还原成原长度的列表，我们需要先计算全局的标准化统计量（均值和标准差），再逐个处理原列表的每个元素，空元素直接保留，非空元素用全局统计量做标准化。

具体步骤如下：

1. 准备原列表与筛选非空DataFrame #

假设你的原列表名为original_dfs，先筛选出其中非空的DataFrame，并记录它们的原索引（方便后续对应）：

import pandas as pd

# 示例原列表（包含空DataFrame/None）
original_dfs = [pd.DataFrame({'a': [1,2], 'b': [3,4]}), None, pd.DataFrame({'a': [5,6], 'b': [7,8]}), pd.DataFrame()]

# 筛选非空的DataFrame并保留原列表的索引位置
non_empty_dfs = {idx: df for idx, df in enumerate(original_dfs) if df is not None and not df.empty}

2. 计算全局标准化所需的均值和标准差 #

合并非空DataFrame，然后按行索引（对应你原代码中的level=1）计算均值和标准差：

if non_empty_dfs:
    # 合并非空DataFrame，生成带原列表索引的多层索引结构
    dframes = pd.concat(non_empty_dfs)
    # 计算每个行索引对应的全局均值和标准差
    group_mean = dframes.groupby(level=1).mean()
    group_std = dframes.groupby(level=1).std()
else:
    # 极端情况：原列表全为空，初始化空统计量
    group_mean = pd.DataFrame()
    group_std = pd.DataFrame()

3. 遍历原列表生成标准化后的列表 #

逐个处理原列表的每个元素，空元素直接保留，非空元素用预先计算的全局统计量做标准化：

normalized_dfs = []
for df in original_dfs:
    if df is None or df.empty:
        # 空元素直接保留（可根据需求选择保留None或空DataFrame）
        normalized_dfs.append(df)
    else:
        # 对当前DataFrame执行标准化：减去对应行的全局均值，除以对应行的全局标准差
        normalized_df = df.sub(group_mean.loc[df.index], axis=0).div(group_std.loc[df.index], axis=0)
        normalized_dfs.append(normalized_df)

验证结果 #

现在normalized_dfs的长度和original_dfs完全一致：

print(len(normalized_dfs) == len(original_dfs))  # 输出: True

# 查看非空元素的标准化结果
print(normalized_dfs[0])
print(normalized_dfs[2])

为什么这个方法可行？ #

• 我们先单独计算了所有非空DataFrame中行索引的全局均值和标准差，和你原代码的groupby(level=1).mean()逻辑完全一致。
• 遍历原列表时，空元素直接跳过处理，保留原状态；非空元素则用预先计算好的全局统计量做标准化，保证结果和你原来的test中对应部分完全匹配。
• 彻底避免了pd.concat丢失空元素位置的问题，最终列表长度和原列表完全匹配。

内容的提问来源于stack exchange，提问作者mike.depetriconi