使用Tika与Gensim批量处理文档时内存暴涨问题求助

看起来你遇到的问题根源很明确——那个棘手的PPT被Tika解析成了几十万个极小的文本片段（从日志里的66286个"documents"就能看出来），而Gensim的summarize内部会基于这些片段构建语料字典，直接导致内存暴涨、处理时间拉满。

为什么会这样？ #

Tika解析PPT时，可能把每一个文本框、每一行甚至重复的页面元素（比如"Slide X"、"Picture"这类标识）都拆成了独立的文本块，加上你原代码里的文本清理不够严格，这些零散片段被Gensim当成了独立的"文档"来处理，自然会疯狂扩容字典，占用内存。

一步步解决问题 #

1. 先给文本做"大扫除"，过滤无效内容

在拿到Tika解析后的文本后，先清理空行、合并零散内容，还能过滤掉PPT里高频的无意义词：

text = parsed["content"]
if not text:  # 空文本直接跳过
    continue
# 去掉空行和多余换行，把零散文本合并成连贯内容
text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()])
# 保留原ASCII过滤逻辑，但先清理空行
text = text.encode('ascii','ignore').decode('ascii')
# 过滤PPT里常见的无意义词（可根据实际情况扩展）
stop_words = {'slide', 'picture', 'title', 'page', 'image'}
text = ' '.join([word for word in text.split() if word.lower() not in stop_words])

2. 给文本长度设个上限，避免极端情况

有些PPT可能包含大量冗余内容，直接截断过长文本，不让Gensim处理超大规模的语料：

max_text_length = 100000  # 可根据你的需求调整
if len(text) > max_text_length:
    text = text[:max_text_length]
    print(f"Truncated long text for {file}")

3. 手动清理内存，避免循环积累

每次处理完一个文件后，手动删除变量并触发垃圾回收，防止大文件的内存占用一直留在内存里：

import gc

# 放在循环的finally块里
finally:
    try:
        del parsed, text, summary, kw
    except:
        pass
    gc.collect()

4. 调整Gensim参数，避免过度拆分

给summarize加上split=False，强制它不要把文本拆成过多小片段，而是基于完整文本生成摘要：

summary = summarize(text, word_count=200, split=False)

5. 临时跳过问题文件，先完成其他任务

先把那个出问题的PPT移出来或者在代码里跳过它，先处理完剩下的3799份文件，之后再单独处理这个麻烦家伙：

problem_file = '102381-manufacturing-automotive-competitive-assessment-english-letter.pptx'
if file == problem_file:
    print(f"Skipping problem file {file} for now")
    writer.writerow([file, 'SKIPPED', 'SKIPPED'])
    continue

优化后的完整代码 #

import os
import sys
import csv
import tika
import gc
from tika import parser
import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')
from gensim.summarization import summarize, keywords

# 配置路径和过滤规则
path = 'C:/Users/john/Desktop/WWS-Local'
os.chdir(path)
exFileTypes = ('.zip', '.jpg', '.mp4', '.msg', '.oft', '.txt', '.png')
problem_file = '102381-manufacturing-automotive-competitive-assessment-english-letter.pptx'
max_text_length = 100000
stop_words = {'slide', 'picture', 'title', 'page', 'image'}  # 可扩展

with open('C:/Users/john/Desktop/winProcessedFiles.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['File Name', 'Summary', 'Keywords'])
    
    for file in os.listdir('.'):
        # 跳过已知问题文件
        if file == problem_file:
            print(f"Skipping known problem file: {file}")
            writer.writerow([file, 'SKIPPED', 'SKIPPED'])
            continue
        # 跳过不需要处理的文件类型
        if not file.endswith(exFileTypes):
            try:
                print(f"Processing {file}...")
                parsed = parser.from_file(file)
                text = parsed.get("content", "")
                
                # 空文本直接标记
                if not text.strip():
                    print(f"No content found in {file}")
                    writer.writerow([file, 'NO CONTENT', 'NO CONTENT'])
                    continue
                
                # 清理文本
                text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()])
                text = text.encode('ascii','ignore').decode('ascii')
                text = ' '.join([word for word in text.split() if word.lower() not in stop_words])
                
                # 截断过长文本
                if len(text) > max_text_length:
                    text = text[:max_text_length]
                    print(f"Truncated text for {file} to {max_text_length} characters")
                
                # 生成摘要和关键词（短文本直接标记）
                if len(text) < 100:
                    summary, kw = 'TOO SHORT', 'TOO SHORT'
                else:
                    summary = summarize(text, word_count=200, split=False)
                    kw = keywords(text, words=15)
                
                writer.writerow([file, summary, kw])
                
            except Exception as e:
                print(f"Error processing {file}: {str(e)}")
                writer.writerow([file, str(e), 'ERROR'])
            finally:
                # 强制清理内存
                try:
                    del parsed, text, summary, kw
                except:
                    pass
                gc.collect()

额外小建议 #

• 单独解析那个问题PPT，看看Tika输出的文本是什么样的——大概率是一堆重复的"Slide"、"Picture"或者零散的单词，你可以针对性地添加更多过滤规则。
• 考虑用python-pptx替代Tika解析PPT，专门的库对Office文件的解析更精准，不会产生这么多零散片段。
• 如果内存还是吃紧，就分批处理文件，比如每次处理100个就重启脚本，避免内存长期积累。

内容的提问来源于stack exchange，提问作者John Barnes