如何用Pythonic方法基于pandas DataFrame生成日历热图所需的z score序列
日历热图z score序列生成的高效Pythonic实现
核心思路
摒弃逐日期、逐任务行循环匹配的低效写法,全部用pandas向量化操作实现,同时自动适配任意数量的工具类型映射,无需硬编码z值。
1. 基础数据预处理
首先统一日期格式,避免字符串比较踩坑:
import pandas as pd import plotly.graph_objects as go # 原始任务表日期列转标准datetime格式 dff['Start'] = pd.to_datetime(dff['Start']) dff['End'] = pd.to_datetime(dff['End'])
2. 自适应工具-z值映射
自动从任务表提取所有出现过的唯一工具,按固定步长分配非0的z值,无任务统一记为0,完全适配2-10个工具的波动场景,不需要手动调整映射关系:
# 提取全量唯一工具 unique_tools = dff['Tool'].unique().tolist() # 按0.5步长分配z值:自动匹配Hammer=0.5、Drill=1.0这类需求 tool_z_map = {tool: (idx + 1) * 0.5 for idx, tool in enumerate(unique_tools)}
如果需要调整z值步长或者起始值,直接修改映射生成的公式即可,不需要改动后续逻辑
3. 批量区间匹配(核心难点解决)
利用pandas专属的区间匹配工具merge_asof实现全量日期和任务区间的批量关联,替代双层循环:
# 生成覆盖任务全周期的有效日期序列,和你现有逻辑完全对齐 d1 = dff['Start'].min() d2 = dff['End'].max() full_date_range = pd.date_range(start=d1, end=d2, freq='D').to_frame(index=False, name='date') # 给任务表关联对应z值 dff['z_score_raw'] = dff['Tool'].map(tool_z_map) # 批量关联:找到每个日期对应的最近起点任务 matched_df = pd.merge_asof( full_date_range.sort_values('date'), dff.sort_values('Start'), left_on='date', right_on='Start', direction='backward', allow_exact_matches=True ) # 校验日期是否落在任务区间内,无匹配的z值填0 matched_df['z_score'] = matched_df.apply( lambda row: row['z_score_raw'] if row['date'] <= row['End'] else 0, axis=1 ).fillna(0)
4. 适配日历热图的坐标格式
按照x轴为星期、y轴为周次的要求,把关联好的z值转成热图接口需要的矩阵格式:
# 拆分坐标维度 matched_df['weekday'] = matched_df['date'].dt.weekday # x轴:0=周一,6=周日 matched_df['week'] = matched_df['date'].dt.isocalendar().week # y轴:ISO标准周次 # 生成热图需要的三维参数 z_matrix = matched_df.pivot(index='week', columns='weekday', values='z_score').values x_axis = ['周一', '周二', '周三', '周四', '周五', '周六', '周日'] y_axis = matched_df['week'].unique().tolist() # 直接对接plotly热图接口 fig.add_trace(go.Heatmap(z=z_matrix, x=x_axis, y=y_axis))
性能说明:整套逻辑的向量化计算比传统双层循环快2个数量级以上,哪怕时间跨度到数年、任务量到上千条,也不会出现卡顿。
边界适配:如果需要调整任务的区间规则(比如不把End当天算入作业日),只要修改校验步骤的<=为<即可,不需要改动其他代码。
重叠场景适配:如果某天同时命中多个任务区间,只要在z值计算步骤增加同日期z值的累加逻辑,就能实现多任务叠加的数值效果。
内容的提问来源于stack exchange,提问作者Chain
相关产品推荐
相关产品推荐

