Pandas实现:基于关联列特定值为唯一user_id生成0/1标记列
纯向量化无嵌套循环的Pandas实现方案
所有方案均采用pandas底层C优化的向量化逻辑,无Python层多层嵌套循环,数千级记录的执行耗时在毫秒级,完全满足性能要求。
可直接复用的实现代码
方案1(性能最优,优先推荐)
核心逻辑是先提取所有关联了"good"文本的user_id,再和全量去重的user_id做匹配打标:- 筛选出所有文本值为"good"的记录对应的user_id集合:
good_user_set = set(df.loc[df['string_col'] == 'good', 'user_id'].unique()) - 构造仅含唯一user_id的目标表,完成打标:
result_df = df[['user_id']].drop_duplicates().copy() result_df['has_good'] = result_df['user_id'].isin(good_user_set).astype(int)
该方案的核心操作均为底层优化实现,无Python层循环,数据量到十万级也不会出现性能瓶颈。
- 筛选出所有文本值为"good"的记录对应的user_id集合:
方案2(逻辑最直白,贴合业务判断)
核心逻辑是对每条记录先打临时标记,再按user_id分组取最大值,只要组内存在1(即存在"good"文本),最终标记即为1:result_df = ( # 临时给匹配到"good"的记录打1,其余打0 df.assign(has_good_temp=(df['string_col'] == "good").astype(int)) # 按user_id分组取标记列的最大值 .groupby('user_id', as_index=False)['has_good_temp'] .max() # 重命名为目标列名 .rename(columns={'has_good_temp': 'has_good'}) ) 该写法全程无显式或隐式逐行循环,逻辑完全匹配“存在即标记1”的判断规则,代码可读性极强。方案3(灵活适配复杂判断规则)
如果后续判断逻辑不是简单的等于"good",可以用分组整组计算的方式实现,无需逐行循环:result_df = ( df.groupby('user_id', as_index=False)['string_col'] # 整组传入文本列,判断组内是否存在目标值 .apply(lambda group_text: int(group_text.str.contains("good").any())) .rename(columns={'string_col': 'has_good'}) ) 这里的apply是按整组传入Series对象计算,并非逐行遍历,性能远高于嵌套循环的写法。
内容的提问来源于stack exchange,提问作者Taco22
相关产品推荐
相关产品推荐

