Python实现两个CSV文件差异行输出的问题排查
原代码存在的核心问题
- 数据遍历范围缺失:代码仅通过
next()读取了两个文件的第一行(也就是表头行value data),后续所有业务数据行完全没有纳入读取和对比范围。由于读取的两行内容完全一致,对应的if判断条件永远不会触发,最终不会输出任何结果。 - 判断逻辑错误:差异判定的条件用
and连接两个不等关系,要求两列同时不一致才会触发输出,完全不符合“同主键下值不一致、或主键不存在于file2”的判定规则。 - 解析参数错误:csv模块的
quotechar参数写为HTML转义实体",实际应为双引号字符",会导致CSV解析异常。 - 资源管理缺陷:直接用
open()打开文件没有做关闭操作,容易造成文件句柄泄漏。 - 对比逻辑无主键匹配:逐行按位置比对的方式很容易因为两个文件行顺序错位导致判断完全失效,实际应该以唯一标识
value列为匹配主键。
正确实现方案
实现思路:以value列作为匹配主键,先把file2的全量数据加载为键值映射表,再逐行遍历file1的业务行,按规则筛选差异行输出。
完整可运行代码:
import csv # 用上下文管理器自动回收文件资源 with open('file1.csv', 'r', newline='', encoding='utf-8') as f1, \ open('file2.csv', 'r', newline='', encoding='utf-8') as f2: # 初始化csv读取器,修正quotechar参数 reader1 = csv.reader(f1, delimiter=',', quotechar='"') reader2 = csv.reader(f2, delimiter=',', quotechar='"') # 跳过两个文件的表头行 next(reader1) next(reader2) # 构建file2的主键映射表,加速匹配 file2_records = {} for row in reader2: key = row[0].strip() data_val = row[1].strip() file2_records[key] = data_val # 遍历file1的所有数据行,匹配差异 for row in reader1: cur_key = row[0].strip() cur_data = row[1].strip() # 命中两种差异场景即输出:file2无对应主键、同主键下数据不一致 if cur_key not in file2_records or file2_records[cur_key] != cur_data: print(f"{cur_key}\t{cur_data}")
运行上述代码会严格按照预期输出:
d 789 e 23
如果你的CSV实际是空格/制表符分隔的格式,只需要把delimiter参数修改为对应分隔符(比如delimiter='\t'对应制表符分隔)即可适配。
内容的提问来源于stack exchange,提问作者Priyx
相关产品推荐
相关产品推荐

