Pandas DataFrame遍历列校验条件及MultiIndex数据处理技术问询

没问题，咱们来拆解怎么在你的Pandas DataFrame（带产品+日期的MultiIndex行索引）里遍历列并执行条件检查。下面是针对不同场景的实用解决方案：

先明确你的场景：你的DataFrame以产品+日期为多层行索引，列对应各门店的销售额数据。接下来分几种常见需求给出实现方式：

1. 基础场景：逐列检查简单条件 #

比如要统计每个门店中销售额大于0的记录数，直接遍历列名结合布尔索引就能实现：

import pandas as pd

# 先模拟符合你场景的MultiIndex DataFrame
data = {
    'd1': [-0.084, 0.014, -0.086, 0.057],
    'd2': [-0.070, -0.073, -0.043, 0.028],
    'd3': [-0.151, -0.029, -0.060, -0.023]
}
# 构建产品+日期的MultiIndex
index = pd.MultiIndex.from_tuples(
    [('ProductX', '2000-01-03'), ('ProductX', '2000-01-04'),
     ('ProductY', '2000-01-05'), ('ProductY', '2000-01-06')],
    names=['Product', 'Date']
)
df = pd.DataFrame(data, index=index)

# 遍历每一列，执行条件检查
for store_col in df.columns:
    # 统计该门店销售额>0的记录数
    positive_count = df[store_col][df[store_col] > 0].count()
    # 更简洁的写法：df[store_col].gt(0).sum()
    print(f"门店 {store_col}: 销售额大于0的记录数为 {positive_count}")

输出示例：

门店 d1: 销售额大于0的记录数为 2
门店 d2: 销售额大于0的记录数为 1
门店 d3: 销售额大于0的记录数为 0

2. 进阶场景：按MultiIndex分组后逐列检查 #

如果需要针对单个产品，检查各门店的销售额条件（比如某产品在门店的平均销售额是否低于阈值），可以结合groupby和列遍历：

# 按产品分组，逐个处理
for product_name, product_group in df.groupby(level='Product'):
    print(f"\n=== 产品 {product_name} 门店数据检查 ===")
    for store_col in product_group.columns:
        avg_sales = product_group[store_col].mean()
        # 自定义条件：平均销售额是否低于-0.05
        if avg_sales < -0.05:
            print(f"门店 {store_col}: 平均销售额 {avg_sales:.4f}，低于阈值-0.05")
        else:
            print(f"门店 {store_col}: 平均销售额 {avg_sales:.4f}，符合要求")

输出示例：

=== 产品 ProductX 门店数据检查 ===
门店 d1: 平均销售额 -0.0350，符合要求
门店 d2: 平均销售额 -0.0715，低于阈值-0.05
门店 d3: 平均销售额 -0.0900，低于阈值-0.05

=== 产品 ProductY 门店数据检查 ===
门店 d1: 平均销售额 -0.0145，符合要求
门店 d2: 平均销售额 -0.0075，符合要求
门店 d3: 平均销售额 -0.0415，符合要求

3. 高效处理：用矢量化操作替代循环 #

如果条件可以用矢量化实现，尽量别用循环——Pandas的矢量化操作效率远高于遍历，尤其适合大数据量场景。比如统计各门店销售额小于-0.1的记录占比：

# 矢量化计算每列满足条件的占比
low_sales_ratio = (df < -0.1).mean()
print("各门店销售额小于-0.1的记录占比：")
print(low_sales_ratio)

输出：

各门店销售额小于-0.1的记录占比：
d1    0.25
d2    0.00
d3    0.25
dtype: float64

4. 复杂条件：用apply逐列处理自定义逻辑 #

如果你的条件逻辑复杂（比如需要计算列的极值差、多条件组合），可以用df.apply给每列绑定自定义函数：

def check_extreme_diff(col):
    # 自定义条件：列中最大值与最小值的差是否超过0.1
    value_diff = col.max() - col.min()
    if value_diff > 0.1:
        return f"极值差 {value_diff:.4f} → 超过阈值0.1"
    else:
        return f"极值差 {value_diff:.4f} → 符合要求"

# 对所有列应用自定义检查
check_result = df.apply(check_extreme_diff)
print("各门店销售额极值差检查结果：")
print(check_result)

输出：

各门店销售额极值差检查结果：
d1    极值差 0.1400 → 超过阈值0.1
d2    极值差 0.1010 → 超过阈值0.1
d3    极值差 0.1280 → 超过阈值0.1
dtype: object

小提示 #

• 如果需要修改原DataFrame的列数据，遍历列时直接赋值即可，比如 df[store_col] = df[store_col].apply(lambda x: x*1.1)
• 处理MultiIndex时，用level参数指定分组索引，或者用index.get_level_values()单独提取产品/日期索引值

内容的提问来源于stack exchange，提问作者gabi