如何在R数据框指定多列中移除特定及特殊字符并修正列类型

问题背景 #

需要清洗一个含60+列的数据集，核心目标：

• 让列类型与列名匹配：date列为日期类型、times列为时间类型、numeric前缀列为数值类型、character前缀列为字符类型
• 批量移除指定列（主要是数值列）中的阻碍转换的特殊字符（如>、> 、m、R、-、N/A、?等）
• 避免逐列编写重复代码，提升效率

之前尝试批量处理时因列索引方式错误报错，日期/时间转换后出现空值问题，需针对性解决。

一、批量处理数值列特殊字符 #

错误原因分析 #

之前的代码cols_nan <- c(df[5:6])错误地将列转为list类型，导致后续索引失效。正确的列选择方式应为列名向量或整数索引向量。

解决方案 #

方法1：Base R实现

# 加载必要包
library(lubridate)

# 示例数据
my_nested_list <- list(date=c('8/16/2010', '8/17/2010', '8/18/201', '8/19/2010', '8/20/2010'),
                       times=c('8:45', '14:20', '13:00', '15:20', '9:05'),
                       numeric1=c('>3.0','> 3.0','1.2m','.8','?1.8'),
                       character1=c('Epi', '', 'Hypo', 'Epi', ''),
                       character2=c('GC1238', '', 'GC1239', '', 'GC1240'),
                       numeric2=c('N/A', '-', '8.9', '', '2.2'),
                       numeric3=c('R', '12.4', '4.1', '', '11.58'))

df <- as.data.frame(my_nested_list, stringsAsFactors = FALSE)

# 定义需要处理的数值列（列名或索引均可）
cols_numeric <- c("numeric1", "numeric2", "numeric3")
# 或用索引：cols_numeric <- c(3,6,7)

# 批量清洗并转换为数值型
df[cols_numeric] <- lapply(df[cols_numeric], function(col) {
  # 移除所有目标特殊字符：>、空格、m、R、-、N/A、?
  cleaned <- gsub("[>\\?mR-]|N/A|\\s", "", col)
  # 将空字符串转为NA，再转数值
  as.numeric(ifelse(cleaned == "", NA, cleaned))
})

方法2：dplyr实现（更简洁，适合多列场景）

library(dplyr)
library(lubridate)

df_clean <- df %>%
  mutate(across(all_of(cols_numeric), ~ {
    cleaned <- gsub("[>\\?mR-]|N/A|\\s", "", .x)
    as.numeric(ifelse(cleaned == "", NA, cleaned))
  }))

二、日期与时间列类型转换 #

日期列转换 #

之前重复调用mdy导致无效转换，直接用lubridate::mdy即可自动识别格式，无效日期（如'8/18/201'）会转为NA：

df$date <- mdy(df$date)

时间列转换 #

用lubridate::hms或as.POSIXct转换，避免返回POSIXlt类型（不适合数据框存储）：

# 方法1：转为hms类型（仅保留时间信息）
df$times <- hms(df$times)

# 方法2：转为POSIXct类型（带默认当天日期的时间戳）
df$times <- as.POSIXct(df$times, format = "%H:%M")

三、字符列处理 #

确保字符列保持字符类型，空值无需额外处理（已通过stringsAsFactors = FALSE实现）：

# 验证字符列类型
sapply(df[c("character1", "character2")], class)

四、结果验证 #

执行完所有步骤后，验证列类型与清洗后的数据：

# 查看各列类型
sapply(df, class)

# 查看最终数据框
print(df)

输出结果将符合预期：

• date为Date类型，无效日期显示NA
• times为Period（hms）或POSIXct类型
• 所有numeric前缀列为numeric类型，无特殊字符残留
• character前缀列为character类型

内容的提问来源于stack exchange，提问作者Andrea