Linux环境下Python3移除文本文件中Unicode标签的方法

嘿，这个场景我太熟悉了！你拿到的应该是从Python2环境导出的字符串表示，带着u'前缀，还有转义的Unicode序列（比如\u2014），咱们用Python3几步就能把它清理成正常可读的文本。

步骤1：读取文件内容 #

首先用Python3的open()函数读取文件，记得指定编码（比如utf-8）避免乱码：

with open('your_target_file.txt', 'r', encoding='utf-8') as f:
    raw_content = f.read()

步骤2：移除u'/u"标记 #

这里用正则表达式最稳妥，能批量处理所有u'xxx'或u"xxx"格式的字符串：

import re

# 匹配u'...'或u"..."并保留中间的内容
cleaned_content = re.sub(r'u["\'](.*?)["\']', r"\1", raw_content)

步骤3：解析转义的Unicode字符 #

像\u2014（长破折号）、\u2013（短破折号）、\n这些转义序列，我们可以用Python的编码转换把它们转成实际的字符：

# 先编码成utf-8，再用unicode_escape解码解析转义序列
cleaned_content = cleaned_content.encode('utf-8').decode('unicode_escape')

完整示例代码 #

把上面的步骤整合起来，写个可复用的函数：

import re

def clean_unicode_markup(file_path):
    # 读取原始内容
    with open(file_path, 'r', encoding='utf-8') as f:
        raw_content = f.read()
    
    # 移除u'/'u"标记
    processed_content = re.sub(r'u["\'](.*?)["\']', r"\1", raw_content)
    # 解析转义序列
    processed_content = processed_content.encode('utf-8').decode('unicode_escape')
    
    return processed_content

# 调用示例
result = clean_unicode_markup('your_file.txt')
print(result)

测试效果 #

拿你给出的示例内容：

(u'B9781437714227000962', u'Definition\u2014Human papillomavirus (HPV)\u2013related proliferation of the vaginal mucosa that leads to extensive, full-thickness loss of maturation of the vaginal epithelium.\n')

处理后会输出：

(B9781437714227000962, Definition—Human papillomavirus (HPV)–related proliferation of the vaginal mucosa that leads to extensive, full-thickness loss of maturation of the vaginal epithelium.
)

内容的提问来源于stack exchange，提问作者Bade