正则处理后西班牙语词汇特殊字符异常问题求解

问题概述 #

开发西班牙语学习工具时，需处理es_50k.txt文件生成不含数字的CSV文件。使用正则过滤数字后，在处理特殊字符时触发ValueError，提示'Ã' is not in list。

错误原因 #

1. 列表查找逻辑错误：list_not_letters是元组列表，代码中用list_not_letters.index(especial_letter)尝试查找单个字符是否存在于列表中，但列表元素是元组而非单个字符，必然找不到匹配项。
2. 字符串操作无效：letter.replace(...)不会修改原字符（字符串不可变），且替换顺序逻辑颠倒。
3. 文件编码问题：读取文件未指定编码，可能导致字符乱码出现Ã这类异常字符。

修正后的代码 #

import re
import pandas as pd
import string

language = "spanish"

# 转换为字典，键是实际特殊字符，值是对应的HTML实体（可根据需求调整键值顺序）
special_chars_map = {
    'á': '&aacute', 'à': '&agrave', 'ã': '&atilde', 'Ã': '&Atilde',
    'â': '&acirc', 'Â': '&Acirc', 'À': '&Agrave', 'é': '&eacute',
    'É': '&Eacute', 'ê': '&ecirc', 'Ê': '&Ecirc', 'í': '&iacute',
    'Í': '&Iacute', 'ó': '&oacute', 'Ó': '&Oacute', 'õ': '&otilde',
    'Õ': '&Otilde', 'ú': '&uacute', 'Ú': '&Uacute', 'ù': '&ugrave',
    'Ù': '&Ugrave', 'ç': '&ccedil', 'Ç': '&Ccedil', 'ñ': '&ntilde',
    'Ñ': '&Ntilde'
}

alfabeth = string.ascii_lowercase
words_list = [language]

# 指定UTF-8编码读取文件，避免字符乱码
with open("es_50k.txt", "r", encoding='utf-8') as file:
    words = file.read().split()

for word in words:
    # 跳过包含数字的单词
    if not re.search('[0-9]', word):
        processed_chars = []
        for letter in word:
            if letter in special_chars_map:
                # 替换特殊字符为对应HTML实体
                processed_chars.append(special_chars_map[letter])
            elif letter.lower() in alfabeth:
                processed_chars.append(letter)
            # 可根据需求添加未知字符的处理逻辑，比如直接保留或跳过
        processed_word = ''.join(processed_chars)
        words_list.append(processed_word)

# 生成目标CSV文件
data_list = pd.DataFrame(words_list)
data_list.to_csv('only_words.csv', index=False)

关键修正点 #

• 字典映射替代列表查找：将元组列表转为字典，实现高效的字符匹配替换，彻底解决列表index查找的逻辑错误。
• 指定文件编码：读取文件时添加encoding='utf-8'，从根源避免字符乱码问题。
• 正确构建处理后的字符串：通过列表收集处理后的字符，最后用join拼接，解决字符串不可变导致的替换无效问题。
• 优化数字过滤逻辑：用re.search直接判断单词是否含数字，比re.sub后比较的方式更高效。

内容的提问来源于stack exchange，提问作者Milla Dma