特定场景数据过滤：移除指定Type组异常观测并保存数据集

原始数据集示例 #

需求说明 #

现有数据集包含取值为3至8的Type分组变量，另有Variable1至Variable132等数值变量。预期每组（Type3到Type8）在每个数值变量下都有2条观测，但某一数值变量中Type3组仅存在1条值为1的观测，不符合规则。需要移除该条观测并保存修改后的数据集。

解决方案 #

1. 使用R语言处理 #

假设数据集名为df，目标数值变量为target_var：

# 筛选掉Type=3且target_var=1的观测
df_cleaned <- df[!(df$Type == 3 & df$target_var == 1), ]

# 保存修改后的数据集（以CSV为例）
write.csv(df_cleaned, "cleaned_dataset.csv", row.names = FALSE)

如果需要先确认目标观测是否存在，可先运行：

# 查看符合条件的观测
subset(df, Type == 3 & target_var == 1)

2. 使用Python（Pandas）处理 #

假设数据集名为df，目标数值变量为target_var：

import pandas as pd

# 筛选掉Type=3且target_var=1的观测
df_cleaned = df[~((df['Type'] == 3) & (df['target_var'] == 1))]

# 保存修改后的数据集（以CSV为例）
df_cleaned.to_csv('cleaned_dataset.csv', index=False)

同样可先确认目标观测：

# 查看符合条件的观测
print(df[(df['Type'] == 3) & (df['target_var'] == 1)])

内容的提问来源于stack exchange，提问作者Malik