Pandas双DataFrame场景下弃呼用户回呼次数高效统计方法
大规模呼叫中心弃呼回呼统计的高效实现方案
之前逐行遍历、apply循环的方案运行慢,核心原因是单条弃呼记录就要触发一次全表过滤,整体时间复杂度极高;向量化尝试卡壳是因为直接传入数组做布尔过滤时,两边表长度不匹配,Pandas无法自动广播逐元素匹配。
下面的实现思路全部基于Pandas内置的分组、向量化计算能力,全流程由C层执行,75万行规模的数据集整体运行耗时可控制在10秒以内。
前置数据准备
先统一两个表的时间字段格式,避免字符串比对的性能损耗,同时消除两表日期字段不一致的问题:
import pandas as pd # 统一将全量通话表df1、弃呼表df2的时间列转为datetime类型 df1["DateTime"] = pd.to_datetime(df1["DateTime"]) df2["DateTime"] = pd.to_datetime(df2["DateTime"]) # 从DateTime列派生标准日期字段,替代原有独立Date列的比对逻辑 df1["Date"] = df1["DateTime"].dt.date df2["Date"] = df2["DateTime"].dt.date # 按主键(ANI号码、时间)给全量表排序,为后续窗口计算做准备 df1 = df1.sort_values(["ANI_DIALNUM", "Date", "DateTime"]).reset_index(drop=True)
三个统计列的实现逻辑
1. 当日潜在回呼数(PotentialSameDayCallBacks)
逻辑:统计同主叫号码下,比弃呼时间晚、同一自然日内的所有通话记录数量
不需要逐行过滤,直接按「ANI号码+日期」分组计算累计值即可:
# 组内按时间排序后,从第一通电话开始累计序号 df1["same_day_cum_seq"] = df1.groupby(["ANI_DIALNUM", "Date"]).cumcount() # 计算该号码当日总通话量 daily_total_call = df1.groupby(["ANI_DIALNUM", "Date"])["contact_id"].transform("count") # 弃呼后的当日回呼数 = 当日总通话数 - 当前累计序号 - 1(减去弃呼记录本身) df1["PotentialSameDayCallBacks"] = daily_total_call - df1["same_day_cum_seq"] - 1 # 因df2是df1的子集,直接用公共主键contact_id把计算值映射回df2即可 df2 = df2.merge( df1[["contact_id", "PotentialSameDayCallBacks"]], on="contact_id", how="left" )
2. 次日回呼数(NextDayCallBacks)
逻辑:统计同主叫号码下,弃呼次日全天的通话记录数量
先预计算每个号码的每日通话量作为查找表,再匹配对应值:
# 预生成「ANI号码+日期」维度的每日通话计数表 daily_call_lookup = df1.groupby(["ANI_DIALNUM", "Date"])["contact_id"].count().rename("NextDayCallBacks") # 为每条弃呼记录计算对应的次日日期 df2["next_day"] = df2["DateTime"].dt.date + pd.Timedelta(days=1) # 按「ANI号码+次日日期」匹配计数,无匹配值的场景(次日无通话)填0 df2 = df2.merge( daily_call_lookup, left_on=["ANI_DIALNUM", "next_day"], right_index=True, how="left" ) df2["NextDayCallBacks"] = df2["NextDayCallBacks"].fillna(0).astype(int)
3. 弃呼后7天内回呼数(Next7DayCallBacks)
逻辑:统计同主叫号码下,弃呼时间点之后7天内的所有通话记录数量
利用Pandas内置的有序匹配接口merge_asof实现,避免全表笛卡尔积的性能损耗:
# 为全量通话记录加标记,区分哪些记录属于弃呼样本 df1["is_abandon_record"] = df1["contact_id"].isin(df2["contact_id"]) # 两个参与匹配的表必须按匹配键(ANI、时间)提前排序 df1 = df1.sort_values(["ANI_DIALNUM", "DateTime"]) df2 = df2.sort_values(["ANI_DIALNUM", "DateTime"]) # 为每条弃呼记录计算7天统计窗口的截止时间 df2["window_end_time"] = df2["DateTime"] + pd.Timedelta(days=7) # 先匹配同号码下,时间点落在弃呼时间后的所有记录 matched = pd.merge_asof( df2, df1[["ANI_DIALNUM", "DateTime", "contact_id"]], on="DateTime", by="ANI_DIALNUM", direction="forward", suffixes=("_abandon", "_call") ) # 基于分组计数,计算每个弃呼记录的7天窗口内总条数 df2["Next7DayCallBacks"] = matched.groupby("contact_id_abandon")["contact_id_call"].cumcount() # 无匹配回呼的场景填0 df2["Next7DayCallBacks"] = df2["Next7DayCallBacks"].fillna(0).astype(int)
常见卡点说明
- 逐行
apply、iterrows的方案本质是Python层循环,每次循环都要触发一次全表过滤,75万行规模下遍历耗时会达到几十分钟级别,完全不适合大规模数据处理 - 之前直接把数组传入过滤函数的方案报错,是因为Pandas布尔过滤要求条件数组的长度和被过滤的DataFrame完全一致,传入17.5万长度的数组去匹配75万行的表,维度自然不匹配;通过分组预计算、有序匹配的方式,就能绕开逐元素比对的维度问题
内容的提问来源于stack exchange,提问作者Skitzi
相关产品推荐
相关产品推荐

