R中如何基于两列值的匹配规则对dataframe进行子集筛选

实现方案 #

R（dplyr版本，适配你之前用filter的写法） #

你之前的filter条件和需求不匹配，按两步处理即可：

1. 先提取所有tweet_id的唯一值作为参考合法集合
2. 先过滤response_id在合法集合内的行，再按tweet_id和time字段去重
   代码如下：

library(dplyr)

# 提取所有有效tweet_id
valid_ids <- unique(df$tweet_id)

result <- df %>%
  # 保留response_id在合法集合中的行，自动过滤NA值
  filter(response_id %in% valid_ids) %>%
  # 按tweet_id和time去重，保留每行其余字段
  distinct(tweet_id, time, .keep_all = TRUE)

Python（pandas版本） #

如果用pandas处理，逻辑完全一致：

import pandas as pd

# 提取有效tweet_id集合
valid_ids = df['tweet_id'].unique()

# 第一步过滤符合条件的行
df = df[df['response_id'].isin(valid_ids)]
# 第二步按指定字段去重，保留每组第一条记录
result = df.drop_duplicates(subset=['tweet_id', 'time'], keep='first')

逻辑说明 #

你之前写的filter(tweet_id != response_tweet_id)是判断同一行两个字段值不相等，和“response_id是否存在于tweet_id整个列”的需求完全不符，所以无法得到正确结果。
上述代码先完成id合法性校验过滤，再按要求去重，最终输出和你期望的结果完全一致。

内容的提问来源于stack exchange，提问作者Dinho