如何监控spaCy对大文本的解析进度（按百分比显示）？

spaCy本身没有内置进度跟踪功能，但可以通过以下两种简单方法实现百分比形式的进度展示：

方法一：文本分段 + tqdm进度条 #

将大文本分割成若干小块，逐块处理，用tqdm库生成进度条，直观显示处理进度。

步骤： #

1. 安装tqdm（如果未安装）：

pip install tqdm

2. 修改代码实现进度跟踪：

import spacy
from tqdm import tqdm

# 加载大文本文件
with open("big_text.txt", "r", encoding="utf-8") as f:
    text = f.read()

nlp = spacy.load("en_core_web_sm")
nlp.max_length = len(text) + 1

# 定义分段大小（可根据文本规模调整，比如10000字符/段）
chunk_size = 10000
chunks = [text[i:i+chunk_size] for i in range(0, len(text), chunk_size)]

# 逐块处理并显示进度
for chunk in tqdm(chunks, total=len(chunks), desc="解析进度"):
    doc = nlp(chunk)
    # 这里添加你的token信息输出逻辑
    for token in doc:
        print(f"文本：{token.text} | 词性：{token.pos_}")

方法二：nlp.pipe批量处理 + tqdm #

利用spaCy的nlp.pipe批量处理文本块，配合tqdm跟踪进度，效率比逐块单独处理更高。

import spacy
from tqdm import tqdm

# 加载大文本文件
with open("big_text.txt", "r", encoding="utf-8") as f:
    text = f.read()

nlp = spacy.load("en_core_web_sm")
nlp.max_length = len(text) + 1

chunk_size = 10000
# 生成文本块迭代器（节省内存）
chunks = (text[i:i+chunk_size] for i in range(0, len(text), chunk_size))

# 计算总块数，用于tqdm显示百分比
total_chunks = len(text) // chunk_size + 1

# 批量处理并显示进度
for doc in tqdm(nlp.pipe(chunks, batch_size=2), total=total_chunks, desc="解析进度"):
    # 输出token信息
    for token in doc:
        print(f"文本：{token.text} | 词性：{token.pos_}")

注意事项： #

• 分段大小需根据文本规模和机器性能调整：太小会增加处理开销，太大则进度更新不频繁。
• 如果需要完整的Doc对象（保留跨分段的标注，比如实体识别），不建议分段处理；若仅需提取token级信息，分段处理完全可行。

内容的提问来源于stack exchange，提问作者Zyxl