推特文本清洗疑难求助：转义字符与非UTF-8字符处理问题

看起来你遇到的核心问题是CSV中保存的推特文本是bytes对象的字符串表示（比如开头的b'...'、双反斜杠转义），导致常规的编码处理和正则清洗失效。咱们一步步来解决这个问题，最终实现你想要的清洗效果：

步骤1：还原被转义的原始文本 #

你的示例文本'b\'RT @LBC: James O\\'Brien on Geoffrey Cox\\'s awaited legal advice: "We are waiting for a single unelected expert to tell us whether or not fore\\xe2\\x80\\xa6\''本质是把Python bytes对象的repr()输出存进了CSV。直接用字符串替换处理转义容易遗漏情况，推荐用ast.literal_eval来安全解析：

import ast

# 示例输入文本
raw_text = "b'RT @LBC: James O\\'Brien on Geoffrey Cox\\'s awaited legal advice: \"We are waiting for a single unelected expert to tell us whether or not fore\\xe2\\x80\\xa6\"'"

# 解析为bytes对象，再解码为UTF-8字符串
try:
    decoded_text = ast.literal_eval(raw_text).decode('utf-8', errors='replace')
except:
    # 处理解析失败的情况（比如不是标准bytes表示）
    decoded_text = raw_text

这一步会把双反斜杠转义还原成真实字符：比如O\\'Brien变成O'Brien，\\xe2\\x80\\xa6变成省略号…。

步骤2：清洗文本（保留#话题，移除冗余内容） #

现在文本已经还原，接下来用正则和字符串处理完成清洗需求：

• 移除RT前缀和@提及
• 移除HTTP/HTTPS链接
• 保留#话题标签
• 移除不可打印字符或无效UTF-8字符

import re

def clean_tweet(text):
    # 先还原转义文本
    try:
        text = ast.literal_eval(text).decode('utf-8', errors='replace')
    except:
        pass
    
    # 移除RT前缀（比如"RT @XXX: "格式）
    text = re.sub(r'^RT @\w+: ', '', text)
    
    # 移除@提及（不影响#话题标签）
    text = re.sub(r'@\w+', '', text)
    
    # 移除HTTP/HTTPS链接
    text = re.sub(r'https?://\S+', '', text)
    
    # 移除非可打印UTF-8字符（保留字母、数字、标点、#、空格等）
    text = re.sub(r'[^\x00-\x7F\u201c\u201d\u2026]', '', text)
    
    # 去除多余空格（多个空格合并为一个，清理首尾空格）
    text = re.sub(r'\s+', ' ', text).strip()
    
    # 可选：把省略号替换为空（和你示例结果一致）
    text = text.replace('…', '')
    
    return text

测试示例 #

用你的输入测试：

raw_tweet = "b'RT @LBC: James O\\'Brien on Geoffrey Cox\\'s awaited legal advice: \"We are waiting for a single unelected expert to tell us whether or not fore\\xe2\\x80\\xa6\"'"
cleaned = clean_tweet(raw_tweet)
print(cleaned)
# 输出：James O'Brien on Geoffrey Cox's awaited legal advice: "We are waiting for a single unelected expert to tell us whether or not fore"

关键注意点 #

• 为什么不用encode/decode直接处理？ 因为你的文本是bytes的字符串表示，不是真实的bytes对象，直接encode('ascii','ignore')会把转义字符当成普通文本处理，反而失效。ast.literal_eval能正确识别并还原成bytes对象，再解码才是正确路径。
• 保留#话题：正则中没有匹配#\w+，所以话题标签会被完整保留。如果需要单独提取话题，可以用re.findall(r'#\w+', text)。

内容的提问来源于stack exchange，提问作者Tiboo