使用Python文本预处理移除付费墙内容时遇空输出问题求助

你的函数返回空字符串的核心原因有两个：

1. 多词关键词的正则匹配失效：detect_paywall中使用\b{}\b包裹多词关键词（如purchase a subscription），\b是单词边界，会要求短语中每个单词前后都有严格的单词边界，导致无法正确匹配上下文里的短语。
2. 句子误判与分割异常：示例中的Premium Content is available to subscribers only.包含subscribers关键词，被判定为付费墙句子移除；如果未下载nltk的punkt分词数据集，sent_tokenize会将整个段落识别为单个句子，导致整个文本被判定为付费墙内容而全部移除，最终返回空字符串。

1. 修正关键词匹配逻辑 #

替换detect_paywall的正则匹配方式，针对多词关键词使用宽松的匹配（允许关键词间有任意空白字符），同时对单个关键词保留单词边界避免误匹配：

import re
import string
import nltk
from nltk.corpus import stopwords

# 确保下载必要的nltk数据集
nltk.download('punkt')
nltk.download('stopwords')

# function to detect paywall-related text
def detect_paywall(text):
    # 拆分关键词为单词和多词两组
    single_keywords = ["login", "subscription", "subscribers"]
    multi_keywords = ["purchase a subscription"]
    
    # 匹配单词关键词（带单词边界）
    for keyword in single_keywords:
        if re.search(rf'\b{re.escape(keyword)}\b', text, flags=re.IGNORECASE):
            return True
    # 匹配多词关键词（允许单词间任意空白）
    for phrase in multi_keywords:
        # 将短语转换为正则模式，替换空格为\s+（匹配任意空格/换行）
        pattern = re.escape(phrase).replace(r'\ ', r'\s+')
        if re.search(pattern, text, flags=re.IGNORECASE):
            return True
    return False

# function for text preprocessing
def preprocess_text(text):
    # Check if the text contains paywall-related content
    if detect_paywall(text):
        sentences = nltk.sent_tokenize(text)
        cleaned_sentences = [sentence for sentence in sentences if not detect_paywall(sentence)]
        cleaned_text = ' '.join(cleaned_sentences)
        # 对清理后的文本继续执行后续预处理步骤
        text_to_process = cleaned_text.strip()
    else:
        text_to_process = text.strip()
    
    # 统一执行后续预处理
    tokens = nltk.word_tokenize(text_to_process)
    tokens = [token.lower() for token in tokens]
    table = str.maketrans('', '', string.punctuation)
    stripped = [w.translate(table) for w in tokens]
    stop_words = set(stopwords.words('english'))
    words = [word for word in stripped if word.isalpha() and word not in stop_words]
    return ' '.join(words)

2. 优化付费墙句子判定（可选） #

如果希望减少误判，可以进一步收紧判定条件，比如只移除同时包含操作词（如login、purchase）和付费相关词（如subscription、subscribers）的句子：

def detect_paywall(text):
    # 定义付费墙相关的规则，而非单个关键词
    paywall_patterns = [
        r'login.*access',
        r'purchase.*subscription',
        r'subscribers only',
        r'premium content.*subscribers'
    ]
    for pattern in paywall_patterns:
        if re.search(pattern, text, flags=re.IGNORECASE | re.DOTALL):
            return True
    return False

用你的示例文本测试修改后的函数：

• 原文本中的Premium Content is available to subscribers only.和Please login here to access content or go here to purchase a subscription.会被正确识别为付费墙句子并移除。
• 剩余的有效文本会继续执行分词、去停用词等预处理步骤，最终返回非空的处理结果。

内容的提问来源于stack exchange，提问作者Yves