Python循环外变量读取失败及用Spacy、BeautifulSoup构建字典列表问题

我来帮你搞定这两个问题，一步步来：

从你的代码片段来看，你已经搭好了基础框架，我帮你补全HTML解析、文本清理的逻辑，最终生成符合需求的字典列表：

from pymongo import MongoClient
from bs4 import BeautifulSoup as bs
import spacy
import string
from spacy.lang.en.stop_words import STOP_WORDS

# 初始化MongoDB连接和Spacy模型
clt = MongoClient('localhost')
db1 = clt['mchack']
db2 = clt['clean_data']
# 建议使用更完整的英文模型，比如en_core_web_sm（需提前安装：pip install spacy && python -m spacy download en_core_web_sm）
nlp = spacy.load('en_core_web_sm')
valid_shapes = ['X.X','X.X.','X.x','X.x.','x.x','x.x.','x.X','x.X.']

# 封装HTML文本清理函数：解析HTML→提取纯文本→Spacy分词过滤
def clean_html_to_words(html_content):
    # 用BeautifulSoup去除HTML标签，提取纯文本
    soup = bs(html_content, "html.parser")
    raw_text = soup.get_text(separator=" ", strip=True)
    
    # Spacy处理文本，过滤掉无用词汇
    doc = nlp(raw_text)
    cleaned_words = [
        token.lower_ for token in doc
        if not token.is_stop       # 排除停用词（比如the、and）
        and not token.is_punct     # 排除标点符号
        and token.shape_ in valid_shapes  # 保留符合指定形状的词
    ]
    return cleaned_words

# 生成目标字典列表
cake = []
# 假设你从db1的某个集合（比如'raw_docs'）读取数据，每条数据包含body和summary的HTML字段
for doc in db1.raw_docs.find():
    # 分别处理body和summary的HTML内容
    body_word_list = clean_html_to_words(doc.get('body_html', ''))
    summ_word_list = clean_html_to_words(doc.get('summ_html', ''))
    
    # 添加到字典列表
    cake.append({
        'body': body_word_list,
        'summ': summ_word_list
    })

# 可选：把清理后的数据存入clean_data数据库
db2.processed_word_lists.insert_many(cake)

关键说明： #

• 用soup.get_text()彻底剥离HTML标签，只保留纯文本内容，避免标签干扰分词
• Spacy的token对象提供了丰富的属性：is_stop过滤通用停用词，is_punct过滤标点，shape_匹配你定义的词汇形状规则
• 函数封装清理逻辑，让代码更易维护和复用

这个问题通常和变量作用域或初始化逻辑有关，我列出几种常见场景和解决办法：

场景1：变量仅在循环内部定义，循环外未初始化 #

比如你可能写了这样的代码：

# 错误示例：
for item in some_data:
    temp_list = item['words']
print(temp_list)  # 如果循环没执行（比如some_data为空），会直接报错NameError

解决办法：在循环外先给变量一个初始值（比如空列表、None）：

# 正确示例：
temp_list = []
for item in some_data:
    temp_list.extend(item['words'])
print(temp_list)  # 无论循环是否执行，都能正常读取

场景2：变量在函数内部的循环中定义，外部无法访问 #

如果你的循环写在函数里，变量是函数的局部变量，外部自然读不到：

# 错误示例：
def process_items():
    for i in range(5):
        result = i * 2
process_items()
print(result)  # 报错NameError，因为result是函数内的局部变量

解决办法：把变量作为函数的返回值（推荐，更符合Python的作用域规范）：

# 正确示例：
def process_items():
    result = []
    for i in range(5):
        result.append(i * 2)
    return result

final_result = process_items()
print(final_result)  # 循环外可以正常读取返回的结果

场景3：循环条件不满足，变量从未被赋值 #

比如循环的迭代对象为空，导致变量一直是初始的默认值：

# 示例：
temp_var = None
for i in range(0):  # 这个循环根本不会执行
    temp_var = i + 1
print(temp_var)  # 输出None，因为循环没运行过

解决办法：要么确保循环至少执行一次，要么在后续逻辑中处理默认值的情况，避免报错。

内容的提问来源于stack exchange，提问作者Nimish Ronghe