R语言合并数据表后按行计算日期最小值的代码异常问题

基础信息 #

源表结构 #

• table1：包含ID、Rejected、New、Expired四个日期类字段，每个ID对应2条重复记录，部分记录的New字段值为NA
• table2：包含ID、date两个字段，每个ID对应1条固定日期为2021-04-30的记录

实现需求 #

• 按ID关联合并两张表，仅用table2中对应ID的date值填充table1里New字段的NA位置
• 合并后保证New字段日期不晚于同记录的Rejected、Expired日期，通过取三个日期字段的行最小值赋值给New实现

原有问题代码 #

table2 <- q1 %>% ##Create new dataset min_val from q1##
  group_by(ID) %>%
  slice(which.min(date)) %>% ##find min value from each row##
  rename(New2 = date)   ## rename the createdatetime to New2##

merged <- table1 %>% #merge merged_final.1 to min_val##
  left_join(table2, by = 'ID') %>% 
  mutate(New = coalesce(New, New2)) %>% ##This will make sure only NA value are replaced
  select(-New2) ##drop New2 column##

merged$New <- as.Date(apply(merged[, c(2, 3, 4)], 1, FUN = min))

异常表现 #

• 最后一行按行取最小值代码运行后，大量merged$New值变为NA
• 原本无NA的Rejected、Expired字段被填充随机日期
• 最终结果表无法正常渲染为HTML格式

问题根因 #

1. apply()处理数据框时会强制将输入对象转为矩阵，矩阵仅支持单一数据类型，若三个日期字段存在类型不一致（字符串、数值、Date类型混存），会自动把所有日期转为R内部存储的数值形式，后续直接用as.Date()转换数值时未指定origin参数，就会出现日期错乱、生成无效NA的问题。
2. 所有日期字段未在计算前统一类型，关联表的日期字段和原表字段类型不匹配时，关联后会出现属性隐式转换，连带破坏同数据框其他日期字段的类型属性。
3. HTML表格渲染失败是字段类型错乱、存在无效日期值导致的，类型修复后即可正常渲染。

修复代码 #

library(dplyr)
# 1. 预处理table2，统一日期类型
# 注：table2每个ID仅1条记录，不需要group_by+slice操作
table2_processed <- table2 %>%
  rename(New2 = date) %>%
  mutate(New2 = as.Date(New2))

# 2. 合并、填充、校正字段
merged <- table1 %>%
  # 提前统一原表所有日期字段为标准Date类型
  mutate(
    Rejected = as.Date(Rejected),
    New = as.Date(New),
    Expired = as.Date(Expired)
  ) %>%
  left_join(table2_processed, by = "ID") %>%
  mutate(
    New = coalesce(New, New2), # 仅填充New字段的NA值
    # 用pmin代替apply取行最小值，不会强制转换数据类型，保留Date属性
    New = pmin(Rejected, New, Expired, na.rm = TRUE)
  ) %>%
  select(-New2)

代码说明 #

• 所有日期字段在计算前统一转为标准Date类型，从根源避免类型隐式转换导致的异常
• 用pmin()替代apply(...,1,min)做行级最小值计算，pmin是R原生支持平行比较的函数，不会改变输入字段的数据类型，计算效率更高，也不会出现日期值错乱问题
• 结果表所有字段类型合法后，使用常规的HTML表格渲染函数（如knitr::kable()、DT::datatable()）即可正常输出，不需要额外调整渲染参数。

内容的提问来源于stack exchange，提问作者user17582908