使用data.table读取文件报错：R字符串长度超限求助

遇到R character strings are limited to 2^31-1 bytes错误，本质是文件中存在单个字符字段长度超出R的最大限制（约2GB），大概率是文件格式异常或超长字段导致，可按以下步骤解决：

• 先排查文件格式问题
  用文本编辑器（如Notepad++、VS Code）打开文件，检查是否存在异常行：比如某行未正确分隔导致整行内容被合并为一个单元格，或存在超长的备注/脚注字段。也可以先读取小样本数据快速排查：

  # 读取前100行确认列格式和内容
  temp_sample <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", nrows = 100, check.names = TRUE)
  

• 优化fread读取参数

  • 用select替代drop：直接指定需要保留的列，避免读取可能包含超长内容的无用列，减少内存负载：

    # 获取所有列名，筛选需要保留的列
    col_names <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", nrows = 0)$names
    keep_cols <- setdiff(col_names, c("US dollars at current prices in thousands Footnote", "Flow"))
    temp <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", 
                              select = keep_cols, 
                              check.names = TRUE, showProgress = TRUE)
    

  • 指定colClasses强制列类型：如果某列被误识别为字符型但实际是数值，强制转换类型避免超长字符问题：

    # 先获取样本列类型，再修改目标列类型
    temp_sample <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", nrows = 100)
    col_classes <- sapply(temp_sample, class)
    # 假设某列存在类型识别错误，强制设为numeric
    col_classes["TargetColumn"] <- "numeric"
    temp <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", 
                              drop = c("US dollars at current prices in thousands Footnote", "Flow"), 
                              check.names = TRUE, showProgress = TRUE,
                              colClasses = col_classes)
    

• 分块读取大文件
  如果文件本身数据量极大或存在合法超长字段，可分块读取后合并：

  # 获取文件总行数
  total_rows <- length(data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", select = 1, nrows = -1)$V1)
  # 设定每次读取的行数
  chunk_size <- 100000
  temp_list <- list()
  for (i in seq(1, total_rows, chunk_size)) {
    chunk <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", 
                              drop = c("US dollars at current prices in thousands Footnote", "Flow"), 
                              check.names = TRUE,
                              skip = i, nrows = chunk_size)
    temp_list[[length(temp_list)+1]] <- chunk
  }
  # 合并所有分块数据
  temp <- do.call(rbind, temp_list)
  

• 检查文件编码和换行符
  编码异常或换行符错误也可能导致读取问题，可指定编码参数尝试：

  temp <- data.table::fread("US_TradeMatrix_Part5_ST202209201450_v1.csv", 
                            drop = c("US dollars at current prices in thousands Footnote", "Flow"), 
                            check.names = TRUE, showProgress = TRUE,
                            encoding = "UTF-8")
  

内容的提问来源于stack exchange，提问作者Mohamed