如何在R中按ID分组计算阈值外AI值的标准差与方差

以下针对常见的两种数据分析工具（Python pandas、R dplyr）提供实现方法，核心逻辑为先筛选出符合条件的观测值，再按ID分组计算统计量：

Python（pandas）实现 #

单列处理示例（以AI_1为例） #

import pandas as pd

# 假设数据集已加载为df
# df = pd.read_csv("your_data.csv")

# 筛选activity_1为0的行（即AI_1>0），按ID分组计算AI_1的标准差和方差
result_single = df[df['activity_1'] == 0].groupby('ID')['AI_1'].agg(['std', 'var'])
# 重命名列便于区分
result_single.columns = ['AI_1_std', 'AI_1_var']

批量处理AI_1至AI_7列 #

# 建立AI列与对应activity列的映射关系
cols_mapping = {f'AI_{i}': f'activity_{i}' for i in range(1, 8)}

# 初始化结果DataFrame
result_all = pd.DataFrame()

for ai_col, act_col in cols_mapping.items():
    # 筛选对应activity列为0的行，分组计算统计量
    temp = df[df[act_col] == 0].groupby('ID')[ai_col].agg(['std', 'var'])
    # 重命名列
    temp.columns = [f'{ai_col}_std', f'{ai_col}_var']
    # 合并到结果集
    result_all = pd.concat([result_all, temp], axis=1)

R（dplyr）实现 #

批量处理AI_1至AI_7列 #

library(dplyr)

# 假设数据集已加载为df
# df <- read.csv("your_data.csv")

# 按ID分组，针对每个AI列仅使用对应activity列值为0的观测值计算统计量
result_all <- df %>%
  group_by(ID) %>%
  summarise(
    across(
      AI_1:AI_7,
      list(
        std = ~sd(.x[get(paste0("activity_", sub("AI_", "", cur_column()))) == 0], na.rm = TRUE),
        var = ~var(.x[get(paste0("activity_", sub("AI_", "", cur_column()))) == 0], na.rm = TRUE)
      ),
      .names = "{.col}_{.fn}"
    )
  )

逻辑说明 #

上述代码的核心是针对每个AI列，仅提取其对应activity列值为0的观测值进行标准差和方差计算：

• pandas中通过布尔索引先筛选符合条件的行，再执行分组聚合；
• R的dplyr中通过动态匹配对应activity列，在聚合阶段直接过滤出目标数值。

内容的提问来源于stack exchange，提问作者Data miner123