使用Python CSV Reader清理UUID中的特殊字符问题求助

你的CSV文件中部分UUID混入了无关特殊字符，现有代码仅做了严格匹配，无法完成清理工作。以下是具体解决方案：

问题场景回顾 #

正常CSV内容示例：

fab47e7c-05df-4315-b23f-de2cfc8b180f,Lindie,Lilybelle,Lindie.Lilybelle@yopmail.coma
959d21f-e131-473c-ae44-cfea24dbaf3f,Vere,Ax,Vere.Ax@yopmail.com
dd20bea2-f3a8-4283-82e2-501efb846fa8,Lacie,Byrne,Lacie.Byrne@yopmail.com

带错误特殊字符的UUID示例：

#@3b751941-dca2-4224-b453-d81c53cc4c6e%$,Ivett,Urias,Ivett.Urias@yopmail.com

你的现有代码仅执行了正则匹配，未做清理操作，且正则是严格匹配完整UUID格式，无法匹配带特殊字符的字段。

解决方案1：提取有效UUID子串（推荐） #

直接从混杂了特殊字符的字段中提取符合标准UUID格式的部分，适合前后带垃圾字符的场景：

import csv
import re

# 正则：匹配标准UUID格式，忽略前后无关字符
uuid_pattern = re.compile(r'[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}', re.IGNORECASE)

def clean_csv_uuids(input_path, output_path):
    with open(input_path, 'r') as infile, open(output_path, 'w', newline='') as outfile:
        reader = csv.DictReader(infile)
        writer = csv.DictWriter(outfile, fieldnames=reader.fieldnames)
        writer.writeheader()
        
        for row in reader:
            # 从id字段中搜索有效UUID
            match_result = uuid_pattern.search(row['id'])
            if match_result:
                # 替换为干净的UUID
                row['id'] = match_result.group()
            else:
                # 处理无法提取有效UUID的情况，可选择跳过或标记
                print(f"无法修复的ID: {row['id']}")
                # 若要跳过该行，取消注释下面的代码
                # continue
            
            writer.writerow(row)

# 调用函数，替换为你的文件路径
clean_csv_uuids("input.csv", "cleaned_output.csv")

解决方案2：删除非UUID允许的字符 #

如果特殊字符是混杂在UUID中间（而非仅前后），可以直接删除所有不属于UUID的字符（a-f、数字、连字符）：

import csv
import re

def clean_single_uuid(uuid_str):
    # 只保留UUID允许的字符，忽略大小写
    return re.sub(r'[^0-9a-f-]', '', uuid_str, flags=re.IGNORECASE)

def process_csv_with_cleanup(input_path, output_path):
    with open(input_path, 'r') as infile, open(output_path, 'w', newline='') as outfile:
        reader = csv.DictReader(infile)
        writer = csv.DictWriter(outfile, fieldnames=reader.fieldnames)
        writer.writeheader()
        
        # 可选：验证清理后的UUID是否符合标准格式
        valid_uuid_pattern = re.compile(r'^[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$', re.IGNORECASE)
        
        for row in reader:
            cleaned_id = clean_single_uuid(row['id'])
            row['id'] = cleaned_id
            
            # 验证有效性，可选
            if not valid_uuid_pattern.match(cleaned_id):
                print(f"清理后仍无效的ID: {cleaned_id}")
            
            writer.writerow(row)

# 调用函数
process_csv_with_cleanup("input.csv", "cleaned_output.csv")

关键注意事项 #

• 使用search而非match：match仅从字符串开头匹配，search会扫描整个字符串，更适合处理带前后垃圾字符的UUID。
• 大型CSV适配：逐行读写的方式避免加载整个文件到内存，适合处理大型文件。
• 异常处理：建议保留无效ID的日志输出，避免后续流程出现问题。

内容的提问来源于stack exchange，提问作者party911