如何避免向CSV文件写入重复值？优化循环写入逻辑的建议

嘿，针对你提到的CSV写入优化需求，我整理了两个核心问题的解决方案，应该能帮你搞定：

要实现这个需求，核心思路是先记录已写入的唯一标识，每次写入前做校验。具体步骤如下：

• 选择一个（或多个）字段作为唯一标识（比如用户ID、订单号这类不会重复的字段）
• 写入新数据前，先读取CSV中已有的所有唯一标识，存入一个集合（集合的查找效率远高于列表）
• 遍历待写入的数据，只写入唯一标识不在集合中的条目，同时把新的唯一标识加入集合

这个问题的关键是只在文件首次创建时写入表头，后续循环只追加数据行。可以通过判断文件是否存在来实现：

• 检查目标CSV文件是否存在：用os.path.exists()方法
• 如果文件不存在，先写入表头；如果已存在，直接跳过表头写入步骤

完整代码示例（Python） #

import csv
import os

def optimized_csv_writer(data_rows, csv_path, unique_key):
    # 检查文件是否已存在
    file_exists = os.path.exists(csv_path)
    
    # 读取已有的唯一键，用于去重校验
    existing_unique_keys = set()
    if file_exists:
        with open(csv_path, 'r', newline='', encoding='utf-8') as read_file:
            csv_reader = csv.DictReader(read_file)
            # 把已有的唯一键存入集合
            existing_unique_keys = {row[unique_key] for row in csv_reader}
    
    # 打开文件准备写入（追加模式）
    with open(csv_path, 'a', newline='', encoding='utf-8') as write_file:
        # 用DictWriter来处理字典格式的数据，需要指定字段名
        csv_writer = csv.DictWriter(write_file, fieldnames=data_rows[0].keys())
        
        # 仅在文件不存在时写入表头
        if not file_exists:
            csv_writer.writeheader()
        
        # 遍历待写入数据，只写入未重复的条目
        for row in data_rows:
            if row[unique_key] not in existing_unique_keys:
                csv_writer.writerow(row)
                existing_unique_keys.add(row[unique_key])

# 示例使用
# 假设你循环中生成的单条数据是字典格式，每次可以把多条数据传入函数
sample_data = [
    {"user_id": "001", "username": "Maddy", "email": "maddy@example.com"},
    {"user_id": "002", "username": "Alex", "email": "alex@example.com"}
]
# 调用函数，指定唯一键为user_id
optimized_csv_writer(sample_data, "user_data.csv", "user_id")

额外注意事项 #

• 如果你的CSV文件非常大，读取全部唯一键可能占用较多内存，这时候可以考虑逐行读取CSV并记录唯一键（内存占用更低）
• 如果没有单一的唯一字段，可以用多个字段组合成唯一标识，比如f"{row['name']}_{row['phone']}"作为集合的键
• 确保编码统一（比如示例中的utf-8），避免出现乱码问题

内容的提问来源于stack exchange，提问作者Maddy