超大列表元素匹配及10GB级DataFrame布尔列标注高效方案咨询

首先明确你现有方案的性能瓶颈：

• 用列表存储手机号做in查询的时间复杂度是O(n)，7千万级数据集单次查询就要遍历大量元素，性能极低
• apply、iterrows都是行级迭代操作，完全没有利用pandas的矢量化计算优势，是pandas中性能最差的实现方式
• 10GB级数据全量加载进内存极易触发内存溢出导致崩溃

最优实现方案 #

场景1：内存足够容纳全量A数据

直接用pandas原生矢量化操作，全程无Python层循环，性能提升可达数百倍：

1. 首先将B的唯一手机号转为集合，集合的in查询时间复杂度为O(1)，这一步就能把查询性能拉满：

phone_set = set(B['FullPhoneNumber'].unique())

2. 用isin方法一行生成布尔列，底层为C实现，效率远高于行遍历：

A['responsive'] = A['FullPhoneNumber'].isin(phone_set)

3. 拆分写入两个CSV文件，直接用布尔索引筛选，不需要逐行写：

A[A['responsive']].to_csv(main_path + "responsive.csv", index=False)
A[~A['responsive']].to_csv(main_path + "irresponsive.csv", index=False)

场景2：内存不足以容纳全量A数据

用pandas分块读取能力，逐批次处理，避免全量加载内存溢出：

import pandas as pd

# 提前加载B的手机号集合，7千万条数据量小，内存完全足够
phone_set = set(pd.read_csv("B文件路径", usecols=['FullPhoneNumber'])['FullPhoneNumber'].unique())

chunk_size = 100000 # 每批次读取行数，可根据自身内存大小调整
first_chunk = True
for chunk in pd.read_csv("A文件路径", chunksize=chunk_size):
    chunk['responsive'] = chunk['FullPhoneNumber'].isin(phone_set)
    # 首批次写入保留表头，后续批次跳过表头避免重复
    chunk[chunk['responsive']].to_csv(main_path + "responsive.csv", index=False, mode='a', header=first_chunk)
    chunk[~chunk['responsive']].to_csv(main_path + "irresponsive.csv", index=False, mode='a', header=first_chunk)
    first_chunk = False

进阶优化 #

如果还需要进一步提升性能，可以替换pandas为Polars库：该库基于Rust实现，同等逻辑下处理速度比pandas快2~10倍，内存占用也更低，API和pandas高度兼容，改造成本极低。

内容的提问来源于stack exchange，提问作者Ashba jawed