Pandas按多条件匹配从另一DataFrame聚合赋值避免切片问题

核心目标：避免逐行循环的不规范切片赋值，规避SettingWithCopyWarning，同时提升运行性能

前置准备：统一日期格式 #

所有涉及大小比较的日期列必须先转为pandas原生datetime类型，否则字符串按字典序比较会出现逻辑错误：

import pandas as pd

# 替换为你实际的日期列名
df1["capturedate"] = pd.to_datetime(df1["capturedate"])
df1["refunddate"] = pd.to_datetime(df1["refunddate"])
df2["cutoff"] = pd.to_datetime(df2["cutoff"])

方案一：Merge+向量化聚合（推荐，大数据量性能最优） #

通过关联操作把同name的记录拉平到同一行，用向量化逻辑一次性完成所有条件判断，再分组聚合回填结果，全程无显式循环，完全符合pandas赋值规范：

# 按name字段左关联，保留df2的所有行
merged_tmp = df2.merge(df1, on="name", how="left")

# 生成条件匹配掩码，不满足条件的数值记为0
match_mask = (
    (merged_tmp["capturedate"] < merged_tmp["cutoff"]) &
    (merged_tmp["refunddate"] > merged_tmp["cutoff"])
)
merged_tmp["valid_value"] = merged_tmp["value"].where(match_mask, 0)

# 按原df2的行维度分组求和，直接赋值生成新列
df2["matched_total"] = merged_tmp.groupby(level=0)["valid_value"].sum()

方案二：分组索引+Apply（代码简洁，适合中小数据量） #

先对聚合表按匹配键建分组索引减少重复遍历，通过apply逐行计算结果，赋值逻辑规范不会触发切片警告：

# 提前按name分组，减少每次匹配的查询成本
df1_name_groups = df1.groupby("name")

def get_matched_sum(row):
    current_name = row["name"]
    current_cutoff = row["cutoff"]
    # 无匹配name直接返回0
    if current_name not in df1_name_groups.groups:
        return 0
    target_group = df1_name_groups.get_group(current_name)
    # 向量化判断日期条件后求和
    date_mask = (target_group["capturedate"] < current_cutoff) & (target_group["refunddate"] > current_cutoff)
    return target_group.loc[date_mask, "value"].sum()

# 生成新列
df2["matched_total"] = df2.apply(get_matched_sum, axis=1)

注意事项 #

• 若你的value列存在空值，求和前可先调用.fillna(0)避免结果返回空
• 数据量大于10万行时优先选择方案一，向量化运算性能是原生Python循环的数十倍
• 两种方案均采用pandas官方推荐的赋值逻辑，不会出现不规范切片导致的警告或值写入失败问题

内容的提问来源于stack exchange，提问作者John Wachter