如何将R tibble中的列表列转为字符列并替换NULL为NA

使用dplyr::pivot_wider处理后得到的R tibble中，部分列为字符类型，另一部分是列表类型——这是因为pivot_wider过程中存在重复的names_from组合导致的。这些列表列包含NULL值，表头查看结果如下：

> head(test)
# A tibble: 6 × 4
  SAMPLE_NO SAMPLE_ANALYSIS_NO `SiO2_%_AES` `LOI_%_AES`
  <chr>     <chr>              <list>       <list>     
1 16821     11456              <chr [1]>    <chr [1]>  
2 16825     11461              <chr [1]>    <NULL>     
3 16829     11466              <chr [1]>    <chr [1]>  
4 16833     11471              <chr [1]>    <chr [1]>  
5 16836     11477              <chr [1]>    <chr [1]>  
6 16837     11479              <chr [1]>    <chr [1]>  

对应的dput数据如下：

structure(list(SAMPLE_NO = c("16821", "16825", "16829", "16833", 
"16836", "16837"), SAMPLE_ANALYSIS_NO = c("11456", "11461", "11466", 
"11471", "11477", "11479"), `SiO2_%_AES` = list("73.4", "72.7", 
    "73", "73.6", "69.8", "74"), `LOI_%_AES` = list("1.86", NULL, 
    "1.6", "1.8", "1.6", "1.6")), row.names = c(NA, -6L), class = c("tbl_df", 
"tbl", "data.frame"))

需要将该tibble转换为无列表列的纯字符类型tibble/数据框，同时把列表中的NULL替换为NA。注意完整数据包含数十万行和数千个此类列表列，需兼顾处理效率。

方法1：tidyverse工具链（代码简洁） #

利用dplyr的列筛选和purrr的映射函数，批量处理所有列表列：

library(dplyr)
library(purrr)

test_cleaned <- test %>%
  mutate(across(where(is.list), ~ map_chr(., ~ ifelse(is.null(.), NA_character_, .))))

方法2：基础R循环（大数据量更高效） #

避免tidyverse的额外依赖，用基础R循环处理，适合数十万行的大规模数据：

test_cleaned <- test
list_cols <- sapply(test_cleaned, is.list)

for (col in names(test_cleaned)[list_cols]) {
  test_cleaned[[col]] <- sapply(test_cleaned[[col]], function(x) if (is.null(x)) NA_character_ else x)
}

方法3：tidyr::unnest（适配单元素列表场景） #

由于所有列表元素都是单个值或NULL，可直接用unnest展开，自动将NULL转为NA：

library(tidyr)

test_cleaned <- test %>%
  unnest(where(is.list), keep_empty = TRUE)

处理后结果验证：

> head(test_cleaned)
# A tibble: 6 × 4
  SAMPLE_NO SAMPLE_ANALYSIS_NO `SiO2_%_AES` `LOI_%_AES`
  <chr>     <chr>              <chr>        <chr>      
1 16821     11456              73.4         1.86       
2 16825     11461              72.7         NA         
3 16829     11466              73           1.6        
4 16833     11471              73.6         1.8        
5 16836     11477              69.8         1.6        
6 16837     11479              74           1.6        

内容的提问来源于stack exchange，提问作者Markm0705