R语言data.table数据校验函数异常问题求助

问题概况 #

我用测试数据编写R语言data.table数据校验函数，需求是按指定列检查数据规则，将无效行存入invalid_rows_list，但遇到两个问题：

• 明明fundsexpended列的数值均合规，却被错误标记为无效
• 能打印出预期的无效行（programyear第10行、asian第9行、hawaiian第2行），但函数最终返回NULL而非有效列表

以下是测试数据和待排查函数：

测试数据 #

library(data.table)
test_dt <- data.table(
  programyear = c(2020, 2021, 2022, 2023, 2024, 2020, 2021, 2022, 2023, "invalid"),
  asian = c(0, 1, 0, 1, 0, 1, 0, 1, "not_bool", 0),
  hawaiian = c(0, "wrong_val", 1, 0, 1, 0, 1, 0, 1, 0),
  fundsexpended = c(1000, 2000, 3000, 4000, 5000, 6000, 7000, 8000, 9000, 10000)
)

校验函数 #

validate_dt <- function(dt) {
  invalid_rows_list <- list()
  check_rules <- list(
    programyear = function(x) is.numeric(x) & x %in% 2020:2024,
    asian = function(x) x %in% c(0, 1),
    hawaiian = function(x) x %in% c(0, 1),
    fundsexpended = function(x) is.numeric(x) & x > 0
  )
  
  for (col in names(check_rules)) {
    invalid_rows <- dt[!check_rules[[col]](get(col)), ]
    if (nrow(invalid_rows) > 0) {
      print(invalid_rows)
      invalid_rows_list[[col]] <- invalid_rows
    }
  }
}

问题1：fundsexpended被误判的解决 #

原因 #

大概率是fundsexpended列的类型异常——比如数据读取时被自动转为字符型（混入非数值内容或读取逻辑问题），导致is.numeric()返回FALSE，触发无效标记。

修复 #

1. 先强制将列转为数值型：

test_dt[, fundsexpended := as.numeric(fundsexpended)]

2. 若转换后出现NA，检查是否存在隐藏非数值字符，清理后再转换；同时根据业务需求调整校验规则，比如允许0值则改为x >= 0。

问题2：函数返回NULL的解决 #

原因 #

R函数默认返回最后一行代码的结果，你的函数最后一行是循环（无返回值），因此默认返回NULL——你没有明确指定函数要返回invalid_rows_list。

修复 #

在函数末尾添加返回语句即可：

validate_dt <- function(dt) {
  invalid_rows_list <- list()
  check_rules <- list(
    programyear = function(x) is.numeric(x) & x %in% 2020:2024,
    asian = function(x) x %in% c(0, 1),
    hawaiian = function(x) x %in% c(0, 1),
    fundsexpended = function(x) is.numeric(x) & x > 0
  )
  
  for (col in names(check_rules)) {
    invalid_rows <- dt[!check_rules[[col]](get(col)), ]
    if (nrow(invalid_rows) > 0) {
      print(invalid_rows)
      invalid_rows_list[[col]] <- invalid_rows
    }
  }
  # 添加返回语句
  return(invalid_rows_list)
}

额外优化建议 #

• 使用data.table原生.SD语法替代get()，效率更高且更规范：

invalid_rows <- dt[!check_rules[[col]](.SD[[col]]), , .SDcols = col]

• 给无效行添加错误说明列，方便后续排查：

invalid_rows <- dt[!check_rules[[col]](.SD[[col]]), 
                   .(row_number = .I, column = col, value = .SD[[col]], error = "不符合校验规则")]

内容的提问来源于stack exchange，提问作者data_life