Python中移除表情符号与特殊字符问题求助

问题根源 #

你写的remove_emojis函数直接接收整个DataFrame作为参数，但re.sub只能处理单个字符串，导致函数实际上没对DataFrame里的text_string字段做任何处理，返回数据自然和原数据一致。另外正则表达式里有重复规则（比如重复写了u"\U00002702-\U000027B0"），虽然不影响功能，但可以优化。

修正方案 #

1. 调整函数逻辑，聚焦单字符串处理

把函数改成接收单个字符串参数，用正则替换后返回处理后的文本，同时清理正则里的重复内容，确保覆盖主流表情符号。

2. 用apply批量处理DataFrame列

通过Pandas的apply方法，把处理函数作用到text_string列的每一个元素上，实现批量清理。

完整代码示例

import re
import pandas as pd

# 加载示例数据集
df_bios = pd.DataFrame({
    'userid': [1, 2, 3, 4, 5, 6, 7],
    'text_string': [
        'I live in Miami and work in software',
        'Chicago, IL',
        'Dog Mom in Cincinnati 🐶',
        'Accountant at @EY/Baltimore',
        'World traveler but I call Atlanta home',
        '⚡️🍒🐆🍾😝🦋❤️‍🔥\nsc/-emmabrown1133\n@shefit EMMA15💸',
        'Working in Orlando. From Korea.'
    ]
})

def remove_emojis(text):
    # 优化后的正则表达式，覆盖主流表情符号
    emoji_pattern = re.compile(
        "["
        u"\U0001F600-\U0001F64F"  # 表情符号
        u"\U0001F300-\U0001F5FF"  # 符号与象形图
        u"\U0001F680-\U0001F6FF"  # 交通与地图符号
        u"\U0001F1E0-\U0001F1FF"  # 国旗（iOS）
        u"\U00002500-\U00002BEF"  # 中文相关字符
        u"\U00002702-\U000027B0"  # 装饰性符号
        u"\U000024C2-\U0001F251"  # 符号
        u"\U0001F926-\U0001F937"  # 额外表情
        u"\U00010000-\U0010FFFF"  # 辅助平面字符
        u"\u2640-\u2642"          # 性别符号
        u"\u2600-\u2B55"          # 杂项符号
        u"\u200d"                 # 零宽连接符
        u"\u23CF"                 # 时钟符号
        u"\u23E9"                 # 播放按钮
        u"\u231A"                 # 时钟
        u"\uFE0F"                 # 变体选择符-16
        u"\u3030"                 # 波浪号
        "]+", 
        re.UNICODE
    )
    cleaned_text = re.sub(emoji_pattern, '', text)
    # 可选：如果还要移除@、/、换行符这类特殊字符，取消下面注释
    # cleaned_text = re.sub(r'[@/\n]', '', cleaned_text)
    return cleaned_text

# 应用清理函数到目标列
df_bios['cleaned_text'] = df_bios['text_string'].apply(remove_emojis)

# 查看处理结果
print(df_bios[['userid', 'text_string', 'cleaned_text']])

效果说明 #

运行后会新增cleaned_text列，里面是移除了表情符号的文本。如果需要移除@、/、换行符这类特殊字符，可以取消代码里注释的替换行，根据需求添加更多正则规则。

内容的提问来源于stack exchange，提问作者wizkids121