R语言中将嵌套结构dataframe转换为tidy格式的方法

你手上的是Twitter API v2返回的标准嵌套结构数据，不需要手动逐层拆分嵌套子数据框，有现成的成熟函数可以一键完成转换。

最快方案：用rtweet包内置的flatten函数 #

rtweet是专门处理推特数据的R包，内置的flatten()函数就是为这种API返回的多层嵌套结构设计的，不需要手动指定拆分列，会自动识别内嵌子数据框、列表列，输出你要的一行一条观测、所有基础字段为原子向量的扁平tibble。

操作代码如下：

# 未安装的话先装包
install.packages("rtweet")
library(rtweet)
library(dplyr)

# 一键扁平化
flat_tweet <- df |> 
  as_tibble() |> 
  flatten() |> 
  # 把原id列重命名为目标要求的tweet_id，可按需调整
  rename(tweet_id = id)

函数处理逻辑说明 #

• 自动将attachments/entities/geo这类内嵌子数据框的所有列提取到最外层，列名会自动加前缀避免重名
• 自动处理两层嵌套的geo$coordinates子数据框，不需要手动拆第二层
• 单值的列表列（比如单条推文只有1个place_id的情况）会直接转成普通原子向量
• 多值的列表列（比如单条推文带多个hashtag、多个@用户、多个媒体key）会默认用分号;拼接为单个字符串列，满足原子向量要求，后续如果需要展开分析这些字段，单独用tidyr::separate_longer_delim()处理对应列即可
• 全程不会改变原始观测行数，110万行级别的数据运行效率很高，不会出现内存溢出问题

备选：原生tidyverse手动实现 #

如果不想依赖rtweet包，也可以用tidyr的unpack函数手动指定拆分嵌套层，代码如下，缺点是如果后续API返回字段有增减，需要手动调整拆分的列名：

library(tidyr)
library(dplyr)
library(purrr)

flat_tweet <- df |> 
  as_tibble() |> 
  # 拆分第一层内嵌数据框
  unpack(cols = c(attachments, entities, geo), names_sep = "_") |> 
  # 拆分geo下嵌套的coordinates第二层子数据框
  unpack(geo_coordinates, names_sep = "_") |> 
  # 把所有剩余列表列转为原子向量，空值填NA，多值用分号拼接
  mutate(
    across(
      where(is.list),
      ~map_chr(.x, ~if (length(.x) == 0) NA_character_ else paste(.x, collapse = ";"))
    )
  ) |> 
  rename(tweet_id = id)

注意事项 #

你贴出的目标表结构里包含user_username/text/lang三个字段，但你给出的原始df结构里没有这几列。这几个字段需要你在调用Twitter API拉取数据时，额外指定tweet.fields、user.fields和对应expansions参数才会返回，如果当时拉取时没选这些字段，扁平化操作不会凭空生成这些列，需要补拉对应数据。

内容的提问来源于stack exchange，提问作者Quantizer