如何可靠将多格式发票转为标准化CSV？寻求HTML发票规模化处理方案

背景与现有实现 #

当前正在构建发票处理流水线，已完成PDF和XLSX格式的处理逻辑：

import tabula
from openpyxl import load_workbook

# PDF extraction
tables = tabula.read_pdf("invoice.pdf", pages="all")

# XLSX extraction
wb = load_workbook("invoice.xlsx")
sheet = wb.active

核心问题 #

处理HTML发票时面临显著异构性：不同供应商的HTML结构差异极大（混用表格、嵌套div），字段命名也无统一标准，难以构建通用解析器。目标是将所有格式的发票归一化为统一CSV schema：

{
    "invoice_number": "",
    "date": "",
    "vendor": "",
    "amount": ""
}

方案对比与推荐 #

1. 规则提取（Rule-based Extraction） #

• 适用场景：供应商数量少、发票格式相对固定的初期阶段
• 实现思路：针对每个供应商编写XPath/CSS选择器规则，用BeautifulSoup或lxml定位目标元素，提取文本后用正则做清洗（比如提取金额数字、格式化日期）
• 优势：开发周期短、逻辑可解释、调试成本低
• 劣势：新增供应商需新增规则，长期维护成本随供应商数量线性增长

2. 模板匹配（Template Matching） #

• 适用场景：同供应商的发票格式高度统一，仅内容动态变化的场景
• 实现思路：为每个供应商的发票创建结构模板，标记字段对应的元素特征（元素路径、特征哈希），匹配时先识别供应商，再套用对应模板提取字段
• 优势：比纯规则更灵活，可批量复用模板
• 劣势：仍需为每个供应商维护模板，无法处理格式突变的发票

3. 机器学习（Machine Learning） #

• 适用场景：供应商数量多、格式差异大，且有足够标注数据的规模化场景
• 实现思路：
  • 基础方案：提取HTML纯文本后，用命名实体识别（NER）模型识别invoice_number、date等目标实体
  • 进阶方案：结合HTML的布局结构（元素层级、位置），用LayoutLM等文档理解模型做结构化提取
• 优势：无需为每个供应商编写规则，可自动适配新格式，规模化能力强
• 劣势：需要标注数据集，模型训练调优成本高，初期投入大

4. 混合策略（推荐） #

实际规模化落地中，建议采用规则+模板+轻量ML的混合方案：

• 优先通过规则识别供应商：从HTML页眉、域名、特定标识判断供应商，直接套用已有规则或模板
• 对未匹配的新供应商，用轻量NER模型做通用提取，人工校验后将新格式转化为规则/模板纳入系统
• 积累足够数据后，逐步升级到更强大的ML模型，降低规则维护成本

实现关键要点 #

• HTML预处理：用BeautifulSoup清理冗余标签（广告脚本、样式），保留核心文本和结构信息
• 字段标准化：统一格式化提取结果（比如日期转为YYYY-MM-DD，金额保留两位小数）
• 校验机制：加入格式校验逻辑（比如金额合法性、发票号唯一性），异常数据触发人工审核

内容的提问来源于stack exchange，提问作者victoria