如何高效标记小DataFrame：匹配大DataFrame模式（忽略大小写）

核心思路 #

先对大数据集A做一次预处理，生成小写的items集合（集合查找是O(1)级别的高效操作），再针对小数据集B仅更新未标记为True的行，既满足大小写不敏感匹配，又避免覆盖已有True值，同时保证处理效率。

具体步骤 #

1. 预处理大数据集A，生成小写items集合
   只需要遍历A的items列一次，转成小写后存入集合，后续查找直接用集合判断，效率拉满：

   # 若A的items存在空值，可加上.dropna()过滤
   items_lower_set = set(dfA['items'].str.lower().dropna())
   

2. 初始化B的found列（保留已有值）
   如果B还没有found列，默认设为False；如果已有该列，直接保留原有值：

   dfB['found'] = dfB.get('found', False)
   

3. 批量更新符合条件的行（不覆盖已有True）
   只筛选出found为False的行，判断其小写后的color是否在集合中，再更新标记：

   # 筛选需要更新的行：found为False的记录
   update_mask = ~dfB['found']
   # 对筛选出的行做大小写不敏感匹配，更新found值
   dfB.loc[update_mask, 'found'] = dfB.loc[update_mask, 'color'].str.lower().isin(items_lower_set)
   

为什么高效？ #

• 仅遍历大数据集A一次，后续查找全靠集合的O(1)快速匹配，避免重复扫描A的上万行数据。
• 只处理B中未标记为True的行，减少不必要的计算量（毕竟B只有几百行，成本极低）。
• 全程用Pandas矢量化操作，比逐行循环快几十倍甚至上百倍。

内容的提问来源于stack exchange，提问作者pen