超大量数据集下XSLT转换性能优化求助

原代码的核心问题是每次处理lineID节点时都要全局遍历所有entry节点匹配groupID和primary=true条件，这种重复查询在百万级数据下会导致O(n²)的时间复杂度，效率极低。以下是针对不同XSLT版本的优化方案：

一、XSLT 2.0 优化方案（基于索引缓存） #

通过xsl:key提前建立groupID到对应primary=true的index类型ID的索引，将查询复杂度降为O(1)，大幅提升处理速度：

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
    xmlns:xs="http://www.w3.org/2001/XMLSchema" exclude-result-prefixes="xs"
    version="2.0">
    
    <xsl:output indent="yes"/>
    
    <!-- 预构建索引：groupID → primary=true条目下的index类型ID -->
    <xsl:key name="group-primary-index" match="entry[primary = 'true']/lineID/ID[@type='index']" use="../../groupID"/>
    
    <!-- 身份模板：复制所有未被匹配的节点 -->
    <xsl:template match="@*|node()">
        <xsl:copy>
            <xsl:apply-templates select="@*|node()"/>
        </xsl:copy>
    </xsl:template>
    
    <!-- 重写lineID节点处理逻辑 -->
    <xsl:template match="lineID">
        <lineID>
            <xsl:variable name="current-group" select="../groupID"/>
            <!-- 优先使用当前组primary=true的index ID，无匹配则保留自身的index ID -->
            <xsl:choose>
                <xsl:when test="key('group-primary-index', $current-group)">
                    <xsl:copy-of select="key('group-primary-index', $current-group)[1]"/>
                </xsl:when>
                <xsl:otherwise>
                    <xsl:copy-of select="ID[@type='index']"/>
                </xsl:otherwise>
            </xsl:choose>
        </lineID>
    </xsl:template>
</xsl:stylesheet>

优化说明： #

1. 索引缓存：xsl:key会在文档加载阶段一次性构建所有primary=true条目的索引，后续查询无需重复遍历
2. 精准匹配：直接通过key()快速定位目标节点，避免原代码中冗余的exists()判断和多次节点查询
3. 结构保留：用copy-of代替value-of，确保输出节点结构与需求一致，同时只保留type='index'的ID

二、XSLT 3.0 流式处理方案（内存友好型） #

如果XML规模达到千万级以上，推荐使用XSLT 3.0的流式处理，无需加载整个文档到内存，适合超大规模数据处理：

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
    version="3.0">
    
    <xsl:output indent="yes"/>
    
    <!-- 累加器：流式处理中缓存groupID对应的primary=true的index ID -->
    <xsl:accumulator name="group-primary-index" as="map(xs:string, element(ID))" initial-value="map{}">
        <xsl:accumulator-rule match="entry[primary = 'true']"
            select="map:put($value, string(groupID), lineID/ID[@type='index'][1])"/>
    </xsl:accumulator>
    
    <!-- 启用流式模式，指定使用累加器 -->
    <xsl:mode streamable="yes" use-accumulators="group-primary-index"/>
    
    <!-- 身份模板 -->
    <xsl:template match="@*|node()">
        <xsl:copy>
            <xsl:apply-templates select="@*|node()"/>
        </xsl:copy>
    </xsl:template>
    
    <!-- 流式处理lineID节点 -->
    <xsl:template match="lineID">
        <lineID>
            <xsl:variable name="group-id" select="string(../groupID)"/>
            <xsl:choose>
                <xsl:when test="map:contains(accumulator-before('group-primary-index'), $group-id)">
                    <xsl:copy-of select="accumulator-before('group-primary-index')($group-id)"/>
                </xsl:when>
                <xsl:otherwise>
                    <xsl:copy-of select="ID[@type='index'][1]"/>
                </xsl:otherwise>
            </xsl:choose>
        </lineID>
    </xsl:template>
</xsl:stylesheet>

流式说明： #

1. 累加器缓存：在流式遍历文档时，逐步缓存每个groupID对应的primary=true条目ID，无需全局加载文档
2. 低内存占用：仅保留当前处理节点和缓存的映射表，内存占用与文档规模无关
3. 处理器要求：需要支持XSLT 3.0流式的处理器（如Saxon-EE）

内容的提问来源于stack exchange，提问作者J R