优化Multi-index DataFrame索引性能：API耗时优化求助

问题根源 #

你的代码性能瓶颈在于逐行apply循环（Python层面的慢循环），以及每次循环中多次执行get_level_values（O(n)的成员检查）和loc索引（多次累加的IO开销）。对于6个索引层级+最后一层200+唯一值的场景，这种逐行操作的时间复杂度会呈指数级上升。

核心优化思路 #

通过批量预处理请求数据，将每个特征列替换为符合规则的索引值（存在则保留，不存在则用not_available），然后直接用向量化方式从lm_df中取值，完全避免逐行循环。

具体实现步骤 #

1. 预提取索引层级的有效值集合

提前缓存每个索引层级的有效值，避免每次循环重复调用get_level_values：

import numpy as np
import pandas as pd

# 预存每个索引层级的有效值（集合查询是O(1)，远快于Series查询）
level_valid_values = {
    level: set(lm_df.index.get_level_values(level))
    for level in lm_df.index.names
}

2. 批量处理请求DataFrame的特征列

对请求df的每个特征列，批量替换为符合规则的索引值：

# 为每个特征列生成对应的索引列（后缀加_idx）
for level in lm_df.index.names:
    df[f"{level}_idx"] = np.where(
        df[level].isin(level_valid_values[level]),
        df[level],
        "not_available"
    )

3. 向量化查询取值

将处理后的索引列组合成MultiIndex，直接从lm_df中批量取值：

# 构建查询用的MultiIndex
query_multi_idx = pd.MultiIndex.from_frame(df[[f"{level}_idx" for level in lm_df.index.names]])

# 批量取值（向量化操作，C层面执行）
df["value"] = lm_df.loc[query_multi_idx, "value"].values

进阶优化（可选） #

如果lm_df的索引组合是唯一的，可以将其转为字典进一步提速：

# 将lm_df的value转为字典，元组作为键
lm_value_dict = lm_df["value"].to_dict()

# 批量查询
df["value"] = [lm_value_dict[tuple(idx)] for idx in query_multi_idx]

这种方式的查询速度接近Python原生字典的O(1)性能，适合超大规模的查询场景。

关键优化点说明 #

• 避免逐行循环：用np.where和pd.MultiIndex.from_frame替代apply，将Python层面的循环转为C层面的向量操作，速度提升10~100倍。
• 预缓存有效值：用集合存储每个层级的有效值，将成员检查的时间复杂度从O(n)降到O(1)。
• 减少索引操作次数：从原来的每行3次loc查询，变为1次批量loc查询，大幅降低索引开销。

内容的提问来源于stack exchange，提问作者Harsha