如何简化推文预处理中限制连续@USER重复次数至3次的实现？

需求说明 #

预处理推文时，需要将连续出现的@USER最大重复次数限制为3次，示例如下：

原推文：this tweet contains hate speech @USER@USER@USER@USER@USER about a target group @USER@USER
处理后：this tweet contains hate speech @USER@USER@USER about a target group @USER@USER

你已经通过while循环实现需求，但可以用更简洁的方式完成这个任务，下面是优化方案：

原代码的潜在问题 #

你的现有代码中，变量i初始化在for循环外部，当处理多条推文时，i不会重置为0，会导致后续推文的处理逻辑出错。

简洁实现方案：正则表达式替换 #

利用正则表达式可以快速匹配连续重复的@USER，并直接替换为最多3次的重复值，代码更简洁且易维护：

import re

tweets = ["this tweet contains hate speech @USER@USER@USER@USER@USER about a target group @USER@USER"]
target = "@USER"
max_repeat = 3

# 构建正则模式：匹配连续出现超过max_repeat次的target
pattern = re.compile(f'({re.escape(target)}){{{max_repeat + 1},}}')
# 批量处理所有推文
processed_tweets = [pattern.sub(target * max_repeat, tweet) for tweet in tweets]

print(processed_tweets[0])
# 输出：this tweet contains hate speech @USER@USER@USER about a target group @USER@USER

代码解释

• re.escape(target)：对目标字符串进行转义，避免其中包含正则特殊字符（即使当前@USER没有，这也是通用场景下的好习惯）
• 正则模式({target}){max_repeat+1,}：匹配连续出现max_repeat+1次及以上的@USER
• 列表推导式批量处理所有推文，相比循环逻辑更简洁，处理效率也更高

另一种非正则实现（字符串拆分拼接） #

如果不想用正则，也可以通过字符串拆分和拼接实现，同样比原while循环简洁：

tweets = ["this tweet contains hate speech @USER@USER@USER@USER@USER about a target group @USER@USER"]
target = "@USER"
max_repeat = 3

def process_tweet(tweet):
    parts = tweet.split(target)
    result = []
    count = 0
    for part in parts:
        if part == "":
            count +=1
        else:
            if count > max_repeat:
                result.append(target * max_repeat)
            elif count >0:
                result.append(target * count)
            result.append(part)
            count =0
    # 处理末尾的连续target
    if count > max_repeat:
        result.append(target * max_repeat)
    elif count >0:
        result.append(target * count)
    return "".join(result)

processed_tweets = [process_tweet(t) for t in tweets]
print(processed_tweets[0])

不过相比之下，正则方案的代码量更少，逻辑更直观。

内容的提问来源于stack exchange，提问作者Totoro_D