不使用Pandas高效实现双CSV值比对与带Exist标记列的结果CSV生成

核心高效实现逻辑 #

• 规避低性能写法：绝对不要用嵌套循环逐行比对两份CSV的内容，这种实现时间复杂度为O(n*m)，数据量上万就会出现明显卡顿
• 性能优化核心：利用Python内置set的哈希表查找特性，把第二份CSV的所有匹配键提前构建成可O(1)查找的集合，整体实现时间复杂度为O(n+m)，十万行以内的数据量可以秒级跑完
• 内存优化：全程采用逐行流式读写，不需要把两份CSV的全量数据同时加载到内存，大文件也不会出现内存溢出问题；整体内存占用比常规Pandas合并匹配方案低90%以上

具体实现流程 #

• 第一步：预先定义匹配规则
  先明确两个CSV用来判定“是否存在”的业务匹配列，比如用「用户ID + 下单编号」这类具有唯一辨识度的列组合，不要默认全列比对，既容易出现匹配误差，也会增加不必要的计算量
• 第二步：构建参照集合
  用Python标准库csv模块逐行读取第二份CSV，将每行的匹配列值按固定分隔符拼接成唯一键，存入集合match_set
• 第三步：生成输出文件
  逐行读取第一份CSV时，原样保留全部原有列字段，在输出表头末尾追加Exist列；每读取一行第一份的内容，按照第二步的相同规则生成匹配键，到集合中查询：存在则标记1，不存在则标记0，逐行写入输出CSV

可直接运行的示例代码 #

import csv

# 自定义配置
MATCH_COLS = ["用户ID", "联系手机号"]  # 替换为实际的匹配列名
SOURCE_CSV = "第一份源数据.csv"
REFERENCE_CSV = "第二份参照数据.csv"
OUTPUT_CSV = "带Exist标记的结果.csv"

# 构建参照匹配键集合
match_set = set()
with open(REFERENCE_CSV, "r", encoding="utf-8-sig") as f:
    reader = csv.DictReader(f)
    for row in reader:
        # 用业务数据极少出现的|做分隔符，避免拼接串撞值
        match_key = "|".join([row[col].strip() for col in MATCH_COLS])
        match_set.add(match_key)

# 逐行生成输出文件
with open(SOURCE_CSV, "r", encoding="utf-8-sig") as f_src, open(OUTPUT_CSV, "w", encoding="utf-8-sig", newline="") as f_out:
    reader = csv.DictReader(f_src)
    # 完全保留源文件全部列，追加Exist列
    output_fields = reader.fieldnames + ["Exist"]
    writer = csv.DictWriter(f_out, fieldnames=output_fields)
    writer.writeheader()
    
    for row in reader:
        match_key = "|".join([row[col].strip() for col in MATCH_COLS])
        row["Exist"] = 1 if match_key in match_set else 0
        writer.writerow(row)

注意事项 #

• 代码中使用utf-8-sig编码是为了兼容Windows环境下Excel导出的带BOM的CSV文件，避免读取中文列名时出现乱码
• 拼接匹配键时必须添加不会出现在业务值中的分隔符，避免不同列组合拼接出相同的字符串，导致匹配判断出错
• 整个方案仅依赖Python标准库，不需要安装第三方依赖，运行环境要求极低

内容的提问来源于stack exchange，提问作者BreadBoard.ini