如何用Python为Pandas MultiIndex指定层级动态添加任意数量值

现有一个以MultiIndex为索引的DataFrame：

apple
level_1 level_2 level_3 level_4 level_5
bga     B       G       1       0          5.0

需要为level_5动态添加任意数量的值，当前使用循环实现：

randData = ["r1", "r13", "r14", "r6"]
for x in randData:
    df.loc[( "bga", "B", "G", "1", x ), "apple"] = np.random.randn(1)[0]

数据量小时运行正常，但列表长度超过4后速度极慢。尝试切片赋值：

df.loc[( "bga", "B", "G", "1" ), "apple"] = (randData, np.random.randn(4))

无法生效，不想重建MultiIndex，求更高效的实现方法。

方法1：批量构造新行后合并 #

直接生成所有需要新增的MultiIndex元组，结合随机值创建新DataFrame，再通过pd.concat合并到原DataFrame，避免循环的重复开销：

import pandas as pd
import numpy as np

# 示例原DataFrame
df = pd.DataFrame(
    {"apple": [5.0]},
    index=pd.MultiIndex.from_tuples(
        [("bga", "B", "G", "1", "0")],
        names=["level_1", "level_2", "level_3", "level_4", "level_5"]
    )
)

randData = ["r1", "r13", "r14", "r6"]
# 构造新增的索引元组列表
new_indices = [("bga", "B", "G", "1", x) for x in randData]
# 生成对应数量的随机值
new_values = np.random.randn(len(randData))
# 创建新的DataFrame
new_df = pd.DataFrame(
    {"apple": new_values},
    index=pd.MultiIndex.from_tuples(new_indices, names=df.index.names)
)
# 合并到原DataFrame
df = pd.concat([df, new_df])

方法2：用from_product简化索引生成 #

如果前4个层级（bga, B, G, 1）固定，可以用pd.MultiIndex.from_product快速生成新索引，代码更简洁：

fixed_levels = ("bga", "B", "G", "1")
new_level5 = randData

# 生成新的MultiIndex
new_index = pd.MultiIndex.from_product(
    [fixed_levels, new_level5],
    names=df.index.names
)
# 创建新DataFrame并合并
new_df = pd.DataFrame({"apple": np.random.randn(len(new_index))}, index=new_index)
df = pd.concat([df, new_df])

为什么循环效率低？ #

Pandas的loc循环赋值每次都会触发DataFrame的内存重分配、索引更新等操作，次数越多累计开销越大。而批量构造合并只需要一次内存操作，能显著提升大数量级下的运行速度。

内容的提问来源于stack exchange，提问作者Seth