You need to enable JavaScript to run this app. Pandas双DataFrame场景下弃呼用户回呼次数高效统计方法
优惠活动
大模型
产品
解决方案
定价
更多

Pandas双DataFrame场景下弃呼用户回呼次数高效统计方法

大规模呼叫中心弃呼回呼统计的高效实现方案

之前逐行遍历、apply循环的方案运行慢,核心原因是单条弃呼记录就要触发一次全表过滤,整体时间复杂度极高;向量化尝试卡壳是因为直接传入数组做布尔过滤时,两边表长度不匹配,Pandas无法自动广播逐元素匹配。
下面的实现思路全部基于Pandas内置的分组、向量化计算能力,全流程由C层执行,75万行规模的数据集整体运行耗时可控制在10秒以内。

前置数据准备

先统一两个表的时间字段格式,避免字符串比对的性能损耗,同时消除两表日期字段不一致的问题:

import pandas as pd
# 统一将全量通话表df1、弃呼表df2的时间列转为datetime类型
df1["DateTime"] = pd.to_datetime(df1["DateTime"])
df2["DateTime"] = pd.to_datetime(df2["DateTime"])
# 从DateTime列派生标准日期字段,替代原有独立Date列的比对逻辑
df1["Date"] = df1["DateTime"].dt.date
df2["Date"] = df2["DateTime"].dt.date
# 按主键(ANI号码、时间)给全量表排序,为后续窗口计算做准备
df1 = df1.sort_values(["ANI_DIALNUM", "Date", "DateTime"]).reset_index(drop=True)

三个统计列的实现逻辑

1. 当日潜在回呼数(PotentialSameDayCallBacks)

逻辑:统计同主叫号码下,比弃呼时间晚、同一自然日内的所有通话记录数量
不需要逐行过滤,直接按「ANI号码+日期」分组计算累计值即可:

# 组内按时间排序后,从第一通电话开始累计序号
df1["same_day_cum_seq"] = df1.groupby(["ANI_DIALNUM", "Date"]).cumcount()
# 计算该号码当日总通话量
daily_total_call = df1.groupby(["ANI_DIALNUM", "Date"])["contact_id"].transform("count")
# 弃呼后的当日回呼数 = 当日总通话数 - 当前累计序号 - 1(减去弃呼记录本身)
df1["PotentialSameDayCallBacks"] = daily_total_call - df1["same_day_cum_seq"] - 1
# 因df2是df1的子集,直接用公共主键contact_id把计算值映射回df2即可
df2 = df2.merge(
    df1[["contact_id", "PotentialSameDayCallBacks"]],
    on="contact_id",
    how="left"
)

2. 次日回呼数(NextDayCallBacks)

逻辑:统计同主叫号码下,弃呼次日全天的通话记录数量
先预计算每个号码的每日通话量作为查找表,再匹配对应值:

# 预生成「ANI号码+日期」维度的每日通话计数表
daily_call_lookup = df1.groupby(["ANI_DIALNUM", "Date"])["contact_id"].count().rename("NextDayCallBacks")
# 为每条弃呼记录计算对应的次日日期
df2["next_day"] = df2["DateTime"].dt.date + pd.Timedelta(days=1)
# 按「ANI号码+次日日期」匹配计数,无匹配值的场景(次日无通话)填0
df2 = df2.merge(
    daily_call_lookup,
    left_on=["ANI_DIALNUM", "next_day"],
    right_index=True,
    how="left"
)
df2["NextDayCallBacks"] = df2["NextDayCallBacks"].fillna(0).astype(int)

3. 弃呼后7天内回呼数(Next7DayCallBacks)

逻辑:统计同主叫号码下,弃呼时间点之后7天内的所有通话记录数量
利用Pandas内置的有序匹配接口merge_asof实现,避免全表笛卡尔积的性能损耗:

# 为全量通话记录加标记,区分哪些记录属于弃呼样本
df1["is_abandon_record"] = df1["contact_id"].isin(df2["contact_id"])
# 两个参与匹配的表必须按匹配键(ANI、时间)提前排序
df1 = df1.sort_values(["ANI_DIALNUM", "DateTime"])
df2 = df2.sort_values(["ANI_DIALNUM", "DateTime"])
# 为每条弃呼记录计算7天统计窗口的截止时间
df2["window_end_time"] = df2["DateTime"] + pd.Timedelta(days=7)
# 先匹配同号码下,时间点落在弃呼时间后的所有记录
matched = pd.merge_asof(
    df2,
    df1[["ANI_DIALNUM", "DateTime", "contact_id"]],
    on="DateTime",
    by="ANI_DIALNUM",
    direction="forward",
    suffixes=("_abandon", "_call")
)
# 基于分组计数,计算每个弃呼记录的7天窗口内总条数
df2["Next7DayCallBacks"] = matched.groupby("contact_id_abandon")["contact_id_call"].cumcount()
# 无匹配回呼的场景填0
df2["Next7DayCallBacks"] = df2["Next7DayCallBacks"].fillna(0).astype(int)

常见卡点说明

  • 逐行apply、iterrows的方案本质是Python层循环,每次循环都要触发一次全表过滤,75万行规模下遍历耗时会达到几十分钟级别,完全不适合大规模数据处理
  • 之前直接把数组传入过滤函数的方案报错,是因为Pandas布尔过滤要求条件数组的长度和被过滤的DataFrame完全一致,传入17.5万长度的数组去匹配75万行的表,维度自然不匹配;通过分组预计算、有序匹配的方式,就能绕开逐元素比对的维度问题

内容的提问来源于stack exchange,提问作者Skitzi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 23:27:03