R语言合并多列并去除NA：处理分块式被试有效数据

嘿，我明白你的需求啦——每个被试只完成了8个数据块中的一个，所以每行里只有10个非NA的变量，剩下全是缺失值，你需要把这些有效数据提取出来，整合成统一的10列结构对吧？下面我给你用R和Python两种常用工具分别写解决方案，都是很直观的方法：

我们可以用dplyr和tidyr这两个包来完成数据的重塑和清洗，步骤很清晰：

# 先加载需要的工具包
library(dplyr)
library(tidyr)

# 假设你的原始数据框名为df
cleaned_data <- df %>%
  # 把宽格式数据转成长格式，保留被试ID（VP列），其他列转为变量名和对应值
  pivot_longer(cols = -VP, names_to = "original_var", values_to = "value") %>%
  # 过滤掉所有NA值的行
  filter(!is.na(value)) %>%
  # 按被试分组，提取每个变量在对应数据块里的序号（比如Var11对应块2的第1个变量）
  group_by(VP) %>%
  mutate(
    # 用正则提取变量名里的数字部分
    var_digit = as.integer(sub("Var(\\d+)", "\\1", original_var)),
    # 计算该变量在块内的序号（1-10）
    var_num = ifelse(var_digit %% 10 == 0, 10, var_digit %% 10),
    # 生成新的统一变量名：Var1到Var10
    new_var = paste0("Var", var_num)
  ) %>%
  # 按块内变量序号排序，保证新列的顺序正确
  arrange(var_num) %>%
  # 转回宽格式，得到每个被试10个有效变量的结果
  pivot_wider(names_from = new_var, values_from = value) %>%
  # 取消分组
  ungroup()

如果你用Pandas处理数据，同样可以通过数据重塑来实现需求：

import pandas as pd

# 假设你的原始数据框名为df
# 1. 转成长格式，保留被试ID列
long_df = df.melt(id_vars='VP', var_name='original_var', value_name='value')
# 2. 移除所有包含NA的行
long_df = long_df.dropna(subset=['value'])
# 3. 提取变量名中的数字，计算块内变量序号
long_df['var_digit'] = long_df['original_var'].str.extract(r'Var(\d+)').astype(int)
long_df['var_num'] = long_df['var_digit'] % 10
long_df['var_num'] = long_df['var_num'].replace(0, 10)  # 处理Var10、Var20这类末尾为0的变量
# 4. 生成统一的新变量名
long_df['new_var'] = 'Var' + long_df['var_num'].astype(str)
# 5. 转回宽格式，调整列顺序保证Var1到Var10的顺序
cleaned_data = long_df.pivot(index='VP', columns='new_var', values='value').reset_index()
cleaned_data = cleaned_data[['VP'] + [f'Var{i}' for i in range(1, 11)]]

这两种方法的核心逻辑是一致的：先把分散在不同列的有效数据集中到长格式里，过滤掉缺失值，再按被试和变量在块内的序号重新整理成统一的宽格式，这样每个被试就只有10个非NA的变量列啦。

内容的提问来源于stack exchange，提问作者Martin Weiß