如何用Python/Stata基于df2的user变量筛选df1的观测值？

问题场景 #

你有一个包含600万行的大型数据集df1（每个用户对应多条观测），需要仅保留出现在小型数据集df2（含4000个用户）中的用户记录，且已知df1包含df2的全部用户信息。

你的代码问题分析 #

你尝试用merge的思路本身没问题，但错误出在**df2的列结构处理**上：从你的示例df2来看，列名和数据错位（user值被放在了date_stata列的位置），导致df2[['user']]提取的是无效数据，最终merge匹配失败；另外如果df2存在重复用户，merge会导致df1的对应行被重复输出。

正确实现方案 #

针对大型数据集，优先选择**isin筛选**（效率更高），也可以用修正后的merge方法：

方案1：用isin高效筛选（推荐）

1. 先修正df2的结构，提取正确的用户列表：

   # 修正df2列名（如果你的df2数据错位，用户值在第一列）
   df2 = df2.rename(columns={df2.columns[0]: 'user'})
   # 提取唯一用户集合，避免重复匹配
   target_users = df2['user'].unique()
   

2. 对df1进行筛选：

   filtered_df = df1[df1['user'].isin(target_users)]
   

方案2：修正后的merge方法

如果坚持用merge，需先清理df2的用户列并去重：

# 先修正df2列名（同上）
df2 = df2.rename(columns={df2.columns[0]: 'user'})
# 去重后再做inner merge，避免重复行
filtered_df = df1.merge(df2[['user']].drop_duplicates(), on='user', how='inner')

示例验证 #

用你提供的示例数据，修正后的df2为：

user
0    a
1    c

运行上述任一方案，都会得到你期望的输出：

date_stata  hour user  
0  20mar2023     9  a              
1  20mar2023     9  a              
2  20mar2023     9  a                           
3  20mar2023    12  c

内容的提问来源于stack exchange，提问作者setareh seraj