使用Latin-1编码改写文本文件时重音字符异常，如何解决？

你的核心问题是文件编码误判导致读取时重音字符乱码，同时需要保持Latin-1编码输出。以下是具体解决方案：

问题根源 #

你指定用latin-1编码读取文件，但实际文件大概率是UTF-8编码。UTF-8的带重音字符（比如"é"）是多字节存储，用单字节的Latin-1读取会被拆分成多个乱码字符（如"ã"）。

解决步骤 #

1. 安装编码检测工具 #

使用chardet库自动检测文件真实编码，避免手动指定错误：

pip install chardet

2. 修改后的代码 #

import os
import re
import chardet

for dname, dirs, files in os.walk("mydirection"):
    for fname in files:
        fpath = os.path.join(dname, fname)
        # 检测文件真实编码
        with open(fpath, 'rb') as f:
            raw_data = f.read()
            detect_result = chardet.detect(raw_data)
            file_encoding = detect_result['encoding'] or 'latin-1'
        
        # 以正确编码读取文件内容
        with open(fpath, encoding=file_encoding) as f:
            text = f.read()
            text = text.replace('- ', '')
            # 移除标点（直接删除而非替换为空格，匹配你的期望结果）
            text = re.sub(r'[^\w\s]', '', text)
        
        # 将内容转换为Latin-1编码写入
        try:
            # 尝试严格转换，确保字符在Latin-1范围内
            latin1_content = text.encode('latin-1', errors='strict').decode('latin-1')
        except UnicodeEncodeError:
            # 若存在Latin-1不支持的字符，去掉重音转为普通字母（需额外安装unidecode）
            from unidecode import unidecode
            latin1_content = unidecode(text)
            # 也可选择直接忽略无法转换的字符：latin1_content = text.encode('latin-1', errors='ignore').decode('latin-1')
        
        with open(fpath, 'w', encoding='latin-1') as file:
            file.write(latin1_content)

关键说明 #

• 移除标点时，把原代码的' '替换为''，这样"élève,"会直接变成"élève"，完全匹配你的期望结果。
• 如果必须保留Latin-1编码，对于无法转换的字符，两种处理方式可选：
  • 用unidecode去掉重音（如"élève"→"eleve"）
  • 用errors='ignore'直接忽略无法转换的字符
• 如果文件确实是Latin-1编码，检测后会自动用Latin-1读取，不会出现乱码。

内容的提问来源于stack exchange，提问作者MG Fern