Python如何移除pandas DataFrame文本列中\xf类十六进制特殊字节字符

问题根因 #

你之前的方案没生效是因为当前DataFrame的Text列存储的不是正常文本，是bytes对象直接强转为字符串后的异常格式数据：开头的b'/b"、外层多余的双引号都是冗余内容，\x开头的字符串是UTF-8特殊字符（emoji、特殊标点等）的字节转义表示，直接调用ascii编码忽略逻辑无法正确识别这些转义内容。

实现代码 #

import pandas as pd
import string

def clean_text(raw_str):
    # 清理外层冗余引号和bytes前缀
    raw_str = raw_str.strip('"')
    if raw_str.startswith(("b'", 'b"')):
        raw_str = raw_str[2:].strip("'\"")
    
    # 转义还原为正常Unicode文本
    try:
        decoded = raw_str.encode('latin1').decode('unicode_escape').encode('latin1').decode('utf-8')
    except:
        decoded = raw_str
    
    # 过滤特殊字符，仅保留常规可打印内容
    # 方案1：自定义允许的字符范围
    allowed = set(string.ascii_letters + string.digits + string.punctuation + ' \n')
    cleaned = ''.join([c for c in decoded if c in allowed])
    
    # 方案2：直接用ASCII编码忽略非ASCII字符，写法更简洁
    # cleaned = decoded.encode('ascii', errors='ignore').decode('utf-8')
    
    return cleaned.strip()

# 应用到DataFrame对应列
df['cleaned_text'] = df['Text'].apply(clean_text)

效果说明 #

上述代码会自动过滤你提到的\xf0\x9f\x93\xa2（emoji）、\xf0\x9f\x95\x91（emoji）、\xe2\x80\xa6（特殊省略号）、\xe2\x80\x99（特殊单引号）等所有非ASCII特殊字符，同时保留正常的英文、数字、标点、换行内容。如果需要保留其他语种字符，调整allowed集合的范围即可。

内容的提问来源于stack exchange，提问作者shan