遍历CSV文件移除含非ASCII字符的邮箱时遇解码错误求助

你碰到的UnicodeDecodeError是因为你的CSV文件编码不是UTF-8——Python默认用UTF-8解码文本文件，但你的文件里存在0x83这类不符合UTF-8规则的字节，导致解码失败。同时原代码每次写入都重复打开输出文件，会造成不必要的IO开销，下面一步步解决这两个问题：

1. 修复文件解码错误 #

你可以根据实际情况选择以下方案：

• 指定已知编码：如果你清楚文件的编码（比如Windows常用的gbk、windows-1252，或者Linux的latin-1），直接在open时指定encoding参数即可。示例：

  with open('emails.csv', encoding='windows-1252') as csv_file:
  

• 自动检测编码：不确定编码的话，可以用chardet库自动检测（先通过pip install chardet安装）：

  import chardet
  
  # 读取部分内容完成编码检测
  with open('emails.csv', 'rb') as f:
      detect_result = chardet.detect(f.read(10000))  # 读取前10KB足够完成检测
  
  # 用检测到的编码打开文件
  with open('emails.csv', encoding=detect_result['encoding']) as csv_file:
      # 后续处理逻辑
  

• 跳过错误字符（不推荐）：如果不在意少量数据丢失，也可以用errors='ignore'强制跳过无法解码的字符，但这可能会破坏部分邮箱的完整性：

  with open('emails.csv', errors='ignore') as csv_file:
  

2. 优化代码逻辑 #

原代码每次找到符合条件的邮箱都打开一次输出文件，频繁的文件开关会拖慢程序。建议一次性打开输入和输出文件，逐行处理：

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

if __name__ == "__main__":
    # 用with语句同时管理两个文件，自动处理关闭逻辑
    with open('emails.csv', encoding='windows-1252') as csv_file, \
         open('result.csv', 'w', encoding='utf-8') as output_file:
        for line in csv_file:
            # 去掉行首尾的空白（包括换行符），避免空行或换行符干扰判断
            email = line.strip()
            # 跳过空行，并且只保留ASCII邮箱
            if email and is_ascii(email):
                # 写回时加上换行符，保持每行一个邮箱的格式
                output_file.write(email + '\n')

额外优化建议 #

• 如果你用的是Python 3.7及以上版本，is_ascii函数可以直接用内置的字符串方法替代，更简洁：

  if email and email.isascii():
  

• 如果你的CSV文件有表头（比如第一行是"Email Address"），记得加上next(csv_file)跳过表头，避免把表头也当成邮箱处理：

  with open('emails.csv', encoding='windows-1252') as csv_file, \
       open('result.csv', 'w', encoding='utf-8') as output_file:
      next(csv_file)  # 跳过第一行表头
      for line in csv_file:
          email = line.strip()
          if email and email.isascii():
              output_file.write(email + '\n')
  

内容的提问来源于stack exchange，提问作者user711