如何在推文数据集的连续emoji表情符号之间自动添加空格

实现逻辑 #

借助Python的emoji库识别所有emoji字符，通过正则匹配将连续相邻的emoji之间插入空格，不会改动推文里的普通文本、话题标签、标点等其他内容。

操作步骤 #

• 首先安装依赖库：

pip install emoji

• 处理代码示例：

import emoji
import re

def split_continuous_emoji(text):
    # 匹配所有emoji的正则模式
    emoji_pattern = emoji.get_emoji_regexp()
    # 匹配到连续emoji段时执行替换
    def replace_func(match):
        # 把连续的emoji每个之间加空格
        return ' '.join(list(match.group()))
    # 执行全局替换
    return re.sub(emoji_pattern, replace_func, text)

# 测试示例
if __name__ == "__main__":
    test_cases = [
        "She is too hot for Congress.  Vote her out!  #sarcasm 😎😁😎😁😎😁",
        "The Struggle is Real 😂😂😂 #struggle #struggleisreal #struggles #funny #humor #saying #sarcasm #lifestruggles #sarcastic #funnysaying #sayings #thestruggleisreal ",
        "😂😂😂  For More Funny Post Follow"
    ]
    for case in test_cases:
        print(f"处理后结果：{split_continuous_emoji(case)}")

效果验证 #

运行上述代码后三个测试用例的输出和期望结果完全一致：

1. 第一个输入处理后：She is too hot for Congress. Vote her out! #sarcasm 😎 😁 😎 😁 😎 😁
2. 第二个输入处理后：The Struggle is Real 😂 😂 😂 #struggle #struggleisreal #struggles #funny #humor #saying #sarcasm #lifestruggles #sarcastic #funnysaying #sayings #thestruggleisreal
3. 第三个输入处理后：😂 😂 😂 For More Funny Post Follow

内容的提问来源于stack exchange，提问作者CD_NS