如何合并小时级与按日索引的两个DataFrame,将日值匹配到对应日期的全部小时行
小时级与日级Pandas DataFrame合并实现方案
核心逻辑是先将两个表的关联键统一到天粒度,再做多对一匹配,把日级数值广播到对应日期的所有小时行,具体步骤如下:
第一步:预处理两个表的时间字段
两个表的时间字段格式存在差异,必须先做标准化清洗,否则会出现匹配错位:
- 处理小时级DF1:基于自带时分的datetime索引,提取仅到天的日期值作为匹配键
- 处理日级DF2:
- 把字符串格式的
MM-DD-YYYY日期转成标准datetime类型,原例中07-01-2917属于输入笔误,转换时会被自动识别为无效值,提前清理即可 - 同样提取到天粒度的日期值作为匹配键
- 把字符串格式的
第二步:选择匹配合并的实现方法
方法1:字典映射(性能最优,适合大数据量场景)
直接把日级表的日期和对应G值生成字典,再映射到小时级表,不需要保留临时匹配键,计算效率更高:
import pandas as pd # 1. 预处理DF1的匹配键 df1['match_day'] = df1.index.date # 2. 预处理DF2的匹配键与无效值 df2['date'] = pd.to_datetime(df2['date'], format='%m-%d-%Y', errors='coerce') df2 = df2.dropna(subset=['date']) # 清理解析失败的脏数据 df2['match_day'] = df2['date'].dt.date # 3. 生成映射字典,把G值匹配到DF1 day_g_map = dict(zip(df2['match_day'], df2['G'])) df1['G'] = df1['match_day'].map(day_g_map) # 4. 删除临时匹配键,得到最终结果DF3 df3 = df1.drop(columns=['match_day'])
方法2:左连接合并(逻辑最直观,适合多列关联场景)
通过merge接口做多对一关联,保留DF1全部小时行:
import pandas as pd # 1. 重置DF1索引,方便后续合并 df1_with_day = df1.reset_index(names='datetime_hour') df1_with_day['match_day'] = pd.to_datetime(df1_with_day['datetime_hour']).dt.date # 2. 预处理DF2 df2['date'] = pd.to_datetime(df2['date'], format='%m-%d-%Y', errors='coerce') df2 = df2.dropna(subset=['date']) df2['match_day'] = df2['date'].dt.date # 3. 左连接合并,保留DF1所有原始行 df3 = df1_with_day.merge( df2[['match_day', 'G']], on='match_day', how='left' ) # 4. 还原为原小时级datetime索引 df3 = df3.set_index('datetime_hour').drop(columns=['match_day'])
关键注意事项
- 匹配时禁止直接用原始字符串做关联,必须先转成日期对象,避免因日期书写顺序(月/日/年 vs 年/月/日)错位
- 合并统一使用左连接(
how='left'),防止DF2缺失对应日期时意外删除DF1的小时级行 - 原DF2中的笔误值(如2917年)会导致匹配失败,必须在预处理阶段清理,否则对应日期的G值会显示为空
内容的提问来源于stack exchange,提问作者AlexF89WOR
相关产品推荐
相关产品推荐

