如何用Vaex检查一个DataFrame列的值是否存在于另一个DataFrame列中

实现思路 #

Vaex依赖内存映射与延迟计算机制，无需将全量数据加载到内存，完美适配超大规模数据集的存在性匹配场景，解决Pandas处理此类任务时的性能与内存瓶颈。核心是利用Vaex内置的isin方法，搭配提取大数据集目标列的唯一值来进一步优化计算效率。

操作步骤与代码 #

• 加载数据集
  Vaex支持直接读取csv、hdf5等格式文件，无需预加载全量数据：

  import vaex
  
  # 加载16万行的小数据集
  df_small = vaex.read_csv('small_data.csv')
  # 加载700万+行的大数据集
  df_large = vaex.read_csv('large_data.csv')
  

• 提取大数据集目标列的唯一值（推荐优化）
  大数据集列通常存在大量重复值，提取唯一值可大幅缩小匹配范围：

  # 获取大数据集指定列的唯一值集合
  large_unique = df_large['target_col'].unique()
  

• 生成存在性标记列
  通过isin方法创建布尔列，该操作属于延迟计算，不会立即占用大量内存：

  # 给小数据集新增布尔列，标记每行值是否存在于大数据集目标列
  df_small['is_exist'] = df_small['check_col'].isin(large_unique)
  

• 导出布尔结果（可选）
  若需要布尔列表，可触发计算转为numpy数组：

  bool_result_list = df_small['is_exist'].values
  

性能优势 #

• 无需加载全量数据到内存，内存占用仅为Pandas的极小部分
• 向量化计算+延迟执行机制，避免Pandas处理大规模isin时的卡顿与内存溢出问题

内容的提问来源于stack exchange，提问作者Lorenzo Correa