使用xhtml2pdf将HTML转PDF时内存占用过高问题求助

核心思路：分块处理+资源优化 #

xhtml2pdf对大文件的内存占用问题主要源于一次性加载并解析全部DOM树、资源，以下是可落地的解决方案：

1. 拆分HTML为小批量块处理，避免一次性加载全部内容 #

4000页的HTML一次性解析会让内存直接拉满，建议按分页拆分（比如每50-200页一个块），逐个转换为临时PDF后再合并成最终文件。

示例代码：

from xhtml2pdf import pisa
from PyPDF2 import PdfMerger
import os

def html_to_pdf(html_str, temp_path):
    with open(temp_path, "wb") as f:
        pisa.CreatePDF(html_str, dest=f)

# 按分页符拆分HTML（需提前在HTML中用<div class="page-break"></div>标记分页）
def split_html_by_page_breaks(html_content):
    page_break_tag = '<div class="page-break"></div>'
    return html_content.split(page_break_tag)

# 加载大HTML文件
with open("4000_pages.html", "r", encoding="utf-8") as f:
    full_html = f.read()

html_chunks = split_html_by_page_breaks(full_html)
merger = PdfMerger()

for idx, chunk in enumerate(html_chunks):
    # 补全必要的HTML结构（比如<head>、<body>）
    chunk_html = f"""
    <!DOCTYPE html>
    <html>
    <head>
        <style>.page-break {{ page-break-after: always; }}</style>
        <!-- 其他全局CSS -->
    </head>
    <body>{chunk}</body>
    </html>
    """
    temp_pdf = f"temp_chunk_{idx}.pdf"
    html_to_pdf(chunk_html, temp_pdf)
    merger.append(temp_pdf)
    os.remove(temp_pdf)  # 及时删除临时文件释放磁盘

merger.write("final_4000_pages.pdf")
merger.close()

2. 优化资源加载，减少重复解析 #

xhtml2pdf会重复加载相同的图片、字体资源，导致内存冗余，可通过自定义资源管理器缓存重复资源：

示例代码：

from xhtml2pdf import pisa
from xhtml2pdf.resource import ResourceManager

class CachedResourceManager(ResourceManager):
    def __init__(self):
        super().__init__()
        self._image_cache = {}

    def get_image(self, uri):
        # 缓存已加载的图片，避免重复读取解析
        if uri in self._image_cache:
            return self._image_cache[uri]
        img_obj = super().get_image(uri)
        self._image_cache[uri] = img_obj
        return img_obj

# 使用缓存资源管理器启动转换
with open("chunk.html", "r", encoding="utf-8") as f:
    html_content = f.read()

with open("output.pdf", "wb") as out_file:
    pisa.CreatePDF(
        html_content,
        dest=out_file,
        config=pisa.DEFAULT_CONFIG._replace(resource_manager=CachedResourceManager())
    )

3. 精简HTML与CSS，降低解析负担 #

• 移除冗余的HTML标签、注释和无效CSS样式
• 避免过深的DOM嵌套（xhtml2pdf解析嵌套结构会递归占用内存）
• 用@page统一设置页面边距、页眉页脚，不要给每个页面元素单独设置样式
• 禁用不必要的外部资源加载：设置enable_local_file_access=False（如果无需加载本地图片/字体）

4. 调整xhtml2pdf的内存相关配置 #

• 启用低内存模式：部分版本支持low_memory=True参数，减少中间数据存储
• 限制字体加载范围：只加载HTML中用到的字体，避免库自动扫描系统全部字体
• 关闭调试模式：调试模式会保留大量中间日志和DOM节点，生产环境务必关闭

5. 手动触发垃圾回收，释放内存 #

在每次块转换完成后，手动调用Python的垃圾回收机制，及时释放无用对象：

import gc

# 转换完一个块后执行
gc.collect()

内容的提问来源于stack exchange，提问作者Ansuman