基于Saxon XSLT批量处理XML文件的性能优化咨询

问题根源 #

当前方案每次处理单个XML都启动一次Java进程，Java虚拟机的启动、类加载本身存在不小开销，几千次重复启动会将这个开销放大到无法接受的程度。另外，每个XML生成临时TXT再合并的流程也额外增加了磁盘IO开销，进一步拖慢处理速度。

核心优化方案 #

1. 用Saxon的批量处理能力（推荐） #

只启动一次Saxon进程，通过XSLT的collection()函数批量遍历所有XML文件，直接输出最终的TXT文件，彻底消除多进程启动开销和临时文件IO。

步骤1：编写批量处理的XSLT（batch-process.xsl）

<xsl:stylesheet version="3.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:System="你的System命名空间URI">
    <xsl:output method="text" encoding="UTF-8"/>

    <xsl:template name="main">
        <!-- 递归遍历指定目录下的所有XML文件 -->
        <xsl:for-each select="collection('file:///C:/path/to/your/xml/folder?select=*.xml;recurse=yes')">
            <xsl:call-template name="extract-filename"/>
            <xsl:text>&#10;</xsl:text> <!-- 换行符 -->
        </xsl:for-each>
    </xsl:template>

    <xsl:template name="extract-filename">
        <xsl:variable name="fileNameNode" select="//System:FileName"/>
        <xsl:choose>
            <xsl:when test="$fileNameNode">
                <xsl:choose>
                    <xsl:when test="$fileNameNode != ''">
                        <xsl:value-of select="$fileNameNode"/>
                    </xsl:when>
                    <xsl:otherwise>
                        <xsl:text>System:FileName VIDE</xsl:text>
                    </xsl:otherwise>
                </xsl:choose>
            </xsl:when>
            <xsl:otherwise>
                <xsl:text>System:FileName ABSENT</xsl:text>
            </xsl:otherwise>
        </xsl:choose>
    </xsl:template>

    <xsl:template match="/">
        <xsl:call-template name="main"/>
    </xsl:template>
</xsl:stylesheet>

注意：替换你的System命名空间URI为XML文件中System前缀对应的实际命名空间（比如http://example.com/system），否则//System:FileName无法匹配到节点。

步骤2：执行批量转换命令

java -cp C:\saxon\SaxonHE10-6J\saxon-he-10.6.jar net.sf.saxon.Transform -xsl:batch-process.xsl -o:final-output.txt

去掉-t参数，它会输出大量调试日志，严重影响性能。

2. Python中复用JVM调用Saxon API #

如果必须保留Python的遍历逻辑，可以用jpype或py4j在Python中启动一次JVM，重复调用Saxon的转换API，避免多次启动进程，同时直接把结果写入最终文件，跳过临时文件。

示例代码（使用jpype）：

import os
import jpype
import jpype.imports

# 启动JVM，只执行一次
jpype.startJVM(jpype.getDefaultJVMPath(), "-cp", "C:\\saxon\\SaxonHE10-6J\\saxon-he-10.6.jar")

# 导入Saxon相关类
from net.sf.saxon.s9api import Processor, XsltCompiler, XsltExecutable, DocumentBuilder, Serializer

# 初始化Saxon处理器和XSLT执行器
processor = Processor(False)
compiler = processor.newXsltCompiler()
xslt_exec = compiler.compile(processor.newDocumentBuilder().build("your-transform.xsl"))

# 打开最终输出文件
with open("final-output.txt", "w", encoding="utf-8") as final_out:
    folderXmlSource = "path/to/your/xml/folder"
    errorLog = open("error.log", "w", encoding="utf-8")

    for root, dirs, files in os.walk(folderXmlSource):
        for file in files:
            if file.endswith('.xml'):
                xml_path = os.path.join(root, file)
                try:
                    # 创建XML源
                    doc_builder = processor.newDocumentBuilder()
                    xml_source = doc_builder.build(xml_path)
                    # 创建结果序列化器，直接写入最终文件
                    serializer = processor.newSerializer(final_out)
                    serializer.setOutputProperty(Serializer.Property.METHOD, "text")
                    # 执行转换
                    transformer = xslt_exec.load()
                    transformer.setSource(xml_source)
                    transformer.setDestination(serializer)
                    transformer.transform()
                    # 写入换行符
                    final_out.write("\n")
                except Exception as e:
                    errorLog.write(f"{xml_path}\n")
                    print(f"处理失败: {xml_path}, 错误: {str(e)}")

    errorLog.close()

# 关闭JVM
jpype.shutdownJVM()

3. 现有流程的快速优化（临时过渡方案） #

如果暂时无法修改批量逻辑，先做以下优化：

• 移除临时文件：修改transform函数，让Saxon直接把输出追加到最终TXT，而不是生成单个临时文件。
• 优化XSLT：原XSLT中多次使用//System:FileName会重复遍历XML文档，改成一次性获取节点：

  <xsl:variable name="fileNameNode" select="//System:FileName"/>
  <xsl:variable name="System:FileName">
      <xsl:choose>
          <xsl:when test="$fileNameNode">
              <xsl:choose>
                  <xsl:when test="$fileNameNode != ''">
                      <xsl:value-of select="$fileNameNode"/>
                  </xsl:when>
                  <xsl:otherwise>
                      <xsl:text>System:FileName VIDE</xsl:text>
                  </xsl:otherwise>
              </xsl:choose>
          </xsl:when>
          <xsl:otherwise>
              <xsl:text>System:FileName ABSENT</xsl:text>
          </xsl:otherwise>
      </xsl:choose>
  </xsl:variable>
  

• 关闭调试日志：去掉命令中的-t参数，减少不必要的输出开销。

内容的提问来源于stack exchange，提问作者silfer1200