基于匹配函数为多列插入值：两个DataFrame的数据填充需求

我来帮你搞定这个多列匹配填充的问题！这种在全时间序列框架里补全采集数据的需求太常见了，下面我分别用R和Python两种主流数据分析工具给你具体实现方案：

R 实现方案 #

方法1：用dplyr做直观的左连接匹配 #

这是最容易理解的方式，核心是以你的全时间序列表time.frame为基础，把采集数据表data.frame里的对应数据匹配填充进去。重点要先统一日期时间格式，不然会匹配失败。

library(dplyr)
library(lubridate)

# 第一步：把两个表的DateTime转成标准日期时间类型
data.frame$DateTime <- mdy_hm(data.frame$DateTime)
time.frame$DateTime <- mdy_hm(time.frame$DateTime)

# 情况1：仅按DateTime单键匹配（假设每个时间点对应唯一的ID和spouse）
filled_df <- time.frame %>%
  left_join(data.frame, by = "DateTime") %>%
  # 合并同名列，用采集到的数据覆盖空值
  mutate(
    ID = coalesce(ID.x, ID.y),
    spouse = coalesce(spouse.x, spouse.y),
    Activity = coalesce(Activity.x, Activity.y)
  ) %>%
  select(-ends_with(".x"), -ends_with(".y")) # 删除临时生成的后缀列

# 情况2：按ID+spouse+DateTime多键匹配（如果每个ID有独立的全时间序列）
filled_df <- time.frame %>%
  left_join(data.frame, by = c("DateTime", "ID", "spouse")) %>%
  mutate(Activity = coalesce(Activity.x, Activity.y)) %>%
  select(-ends_with(".x"), -ends_with(".y"))

方法2：用data.table处理大数据量 #

如果你的数据是数月的分钟粒度，数据量会非常大（比如一个月就43200行），data.table的匹配效率会比dplyr高很多：

library(data.table)

# 转换为data.table格式
setDT(data.frame)
setDT(time.frame)

# 统一日期时间格式
data.frame[, DateTime := mdy_hm(DateTime)]
time.frame[, DateTime := mdy_hm(DateTime)]

# 多键匹配直接填充Activity列
filled_df <- time.frame[data.frame, on = .(DateTime, ID, spouse), Activity := i.Activity]

Python 实现方案 #

方法1：用pandas的merge+combine_first合并填充 #

Pandas是Python处理这类问题的首选工具，同样要先确保日期时间格式统一：

import pandas as pd

# 转换DateTime为标准日期时间类型
data_df['DateTime'] = pd.to_datetime(data_df['DateTime'], format='%m/%d/%y %H:%M')
time_df['DateTime'] = pd.to_datetime(time_df['DateTime'], format='%m/%d/%y %H:%M')

# 左连接合并两个表
merged_df = pd.merge(time_df, data_df, on='DateTime', how='left', suffixes=('_left', '_right'))

# 用采集到的数据填充空值，然后清理临时列
filled_df = merged_df.assign(
    ID=merged_df['ID_left'].combine_first(merged_df['ID_right']),
    spouse=merged_df['spouse_left'].combine_first(merged_df['spouse_right']),
    Activity=merged_df['Activity_left'].combine_first(merged_df['Activity_right'])
).drop(columns=['ID_left', 'ID_right', 'spouse_left', 'spouse_right', 'Activity_left', 'Activity_right'])

# 如果需要多键匹配，只需要修改on参数
merged_df = pd.merge(time_df, data_df, on=['DateTime', 'ID', 'spouse'], how='left', suffixes=('_left', '_right'))

方法2：用pandas的update直接填充 #

如果你的time_df里ID和spouse是固定值（比如示例里A031的spouse始终是0），可以用更简洁的update方法：

# 将两个表的DateTime设为索引
data_df.set_index('DateTime', inplace=True)
time_df.set_index('DateTime', inplace=True)

# 直接用采集数据填充对应列
time_df['Activity'].update(data_df['Activity'])
time_df['ID'].update(data_df['ID'])
time_df['spouse'].update(data_df['spouse'])

# 重置索引恢复DateTime列
time_df.reset_index(inplace=True)

关键注意事项 #

• 日期时间格式必须统一：一定要把两个表的DateTime转成标准的日期时间类型，不能一个是字符串一个是datetime对象，否则会匹配失败。
• 多键匹配的必要性：如果数据里有多个ID或spouse的独立时间序列，一定要用ID+spouse+DateTime多键匹配，不然会出现数据填充混乱。
• 大数据量选高效工具：百万行级别的数据推荐用R的data.table或者Python的pandas，绝对不要用循环遍历的方式，效率会差几十倍。

内容的提问来源于stack exchange，提问作者Colin Adamo