基于变量名中年份标识的R语言宽表转长表实现

我来给你捋捋这个问题哈——处理这种变量名中年份位置不固定的宽表转长表，核心就是用正则表达式精准提取年份，再结合R里的重塑工具来搞定。针对你这个3万多行、1万多列的大型数据框，我推荐两种高效的方法，分别适合不同的使用习惯：

方法一：用tidyverse的pivot_longer（直观易读） #

tidyr包里的pivot_longer是处理宽转长的利器，它的names_pattern参数支持正则表达式，可以直接从变量名里捕获年份，不管年份在哪个位置。

步骤： #

1. 先加载tidyverse包：

library(tidyverse)

2. 编写正则表达式匹配99-16的年份：
   我们需要匹配的是99、00-09、10-16这几种两位数字，正则可以写成：(99|0[0-9]|1[0-6])。这个表达式会精准定位符合范围的年份，不会误抓其他数字（比如你例子里的61就不会被匹配）。

3. 执行重塑操作：
   假设你的数据框叫df，如果要转换所有列，代码如下：

df_long <- df %>%
  pivot_longer(
    cols = everything(),  # 如果有不需要转换的列（比如ID列），可以写成cols = -id_column
    names_to = c(".value", "year"),  # ".value"用来保留变量的核心名称，"year"存储提取的年份
    names_pattern = "(.*?)(99|0[0-9]|1[0-6])(.*)",  # 捕获三部分：年份前内容、年份、年份后内容
    values_drop_na = TRUE  # 可选，去掉NA值减少数据量，提升效率
  )

4. 优化变量名（可选）：
   提取后可能会有多余的空格或字符，可以用字符串处理函数清理：

df_long <- df_long %>%
  mutate(
    variable = str_trim(str_remove_all(.value, "\\s+")),  # 去掉多余空格
    year = paste0("20", year)  # 把年份转成完整的2099、2000格式，按需选择
  ) %>%
  select(-.value)  # 删掉临时的.value列

方法二：用data.table的melt（超大型数据更高效） #

如果你的数据量特别大（1万多列确实不小），data.table的melt速度会更快，适合处理超大规模数据。

步骤： #

1. 加载data.table包并转换数据格式：

library(data.table)
setDT(df)  # 把普通数据框转成data.table格式

2. 从列名中批量提取年份和变量名：

# 提取年份
year_regex <- "99|0[0-9]|1[0-6]"
years <- regmatches(names(df), regexpr(year_regex, names(df)))

# 提取去掉年份后的变量核心名称
variables <- gsub(year_regex, "", names(df))

3. 执行重塑并整理结果：

df_long <- melt(df, measure.vars = names(df), 
                variable.name = "temp_var", value.name = "value") %>%
  mutate(
    year = regmatches(temp_var, regexpr(year_regex, temp_var)),
    variable = gsub(year_regex, "", temp_var)
  ) %>%
  na.omit() %>%  # 去掉NA值
  select(-temp_var)  # 删掉临时列

关键注意事项 #

• 正则准确性：确保你的正则只匹配目标年份，比如如果变量名里有其他两位数字（比如61），我们的正则不会误抓，因为它只限定了99、00-09、10-16的范围。
• 排除无关列：如果数据框里有不需要转换的列（比如个体ID、固定属性列），一定要在cols（pivot_longer）或measure.vars（melt）里排除它们，避免无效转换。
• 效率优先：处理1万多列的大型数据时，尽量避免循环操作，用上述向量化的方法，data.table的速度会比tidyverse更有优势。

内容的提问来源于stack exchange，提问作者Patrick