大时间序列数据框的pivot_longer转换及空间分析适配问题

一、是否需要转换为长格式？ #

是的，长格式更适配你的空间分析需求：

• sf制图：按year分组可批量生成逐年变量分布图，无需重复筛选宽格式列，简化可视化代码。
• 空间回归：面板空间回归、固定效应模型等需要以county-year为观测单元的面板结构，长格式是标准输入形式。
• 数据扩展性：新增年份或变量时，长格式无需调整列名规则，维护成本更低。

二、批量转换后缀式变量的实现方法 #

针对varX_YYYY的命名规则，用tidyverse的pivot_longer可高效完成转换，以下是两种可靠方案：

方案1：下划线分隔拆分（规则命名场景） #

利用names_sep直接按下划线拆分变量名，自动生成对应列：

library(tidyverse)

long_DF <- wide_DF %>%
  pivot_longer(
    cols = starts_with("var"),  # 选中所有以var开头的变量列
    names_sep = "_",            # 以下划线为分隔符拆分列名
    names_to = c(".value", "year"),  # 第一部分作为变量列名，第二部分作为年份列
  ) %>%
  mutate(year = as.integer(year))  # 将年份转为整数类型

方案2：正则匹配拆分（复杂命名场景） #

如果变量名规则有变动，用正则表达式分组匹配更灵活：

long_DF <- wide_DF %>%
  pivot_longer(
    cols = matches("var\\d+_\\d{4}"),  # 匹配var+数字+下划线+4位年份的列
    names_pattern = "(var\\d+)_(\\d{4})",  # 正则分组：第一组为变量名，第二组为年份
    names_to = c(".value", "year"),
    values_drop_na = FALSE  # 按需设置是否保留NA值
  ) %>%
  mutate(year = as.integer(year))

大数据量优化建议 #

针对30000个county的数据集，可结合data.table加速转换：

library(dtplyr)
library(data.table)

long_DF <- wide_DF %>%
  lazy_dt() %>%  # 转为data.table惰性对象，提升处理速度
  pivot_longer(
    cols = starts_with("var"),
    names_sep = "_",
    names_to = c(".value", "year")
  ) %>%
  mutate(year = as.integer(year)) %>%
  as_tibble()  # 转回tibble格式

转换后的数据结构与你期望的long_DF完全一致，所有非变量列（county、geog、GIS信息）会自动保留在每一行中。

内容的提问来源于stack exchange，提问作者Alex Mikulas