如何使用XSLT 3.0仅保留@lemma属性值唯一的<w>元素
XSLT 3.0 大体积XML节点过滤实现方案
- 核心过滤规则:仅保留同时满足以下两个条件的
<w>元素- 节点本身带有
@lemma属性 - 该节点的
@lemma取值在全文档所有同类节点中仅出现1次
- 节点本身带有
- 对取值重复的@lemma,所有对应节点全部移除,不存在保留首个/末个节点的逻辑
适配大文件的性能设计
本方案启用XSLT 3.0原生流式处理能力,无需将完整XML加载到内存,可稳定支撑GB级文件的过滤处理,整体内存占用维持在几十MB级别,无OOM风险。
整个处理流程分为两遍独立的流式扫描:
- 第一遍轻量扫描:仅提取所有带@lemma属性的
节点的lemma值,按值分组统计出现频次,生成频次映射表 - 第二遍全结构扫描:逐节点复制原文档结构,遇到
节点时查询频次表,仅保留符合条件的节点,其余非 节点全部原样输出
完整可运行代码
<xsl:stylesheet version="3.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <!-- 第一遍流式扫描:生成lemma频次映射表 --> <xsl:variable name="lemma-freq" as="map(xs:string, xs:integer)"> <xsl:source-document streamable="true" href="input.xml"> <xsl:map> <xsl:for-each-group select="descendant::w[@lemma]/string(@lemma)" group-by="."> <xsl:map-entry key="current-grouping-key()" select="count(current-group())"/> </xsl:for-each-group> </xsl:map> </xsl:source-document> </xsl:variable> <!-- 第二遍流式扫描:配置默认复制规则 --> <xsl:mode streamable="true" on-no-match="shallow-copy"/> <!-- 自定义w节点的过滤规则 --> <xsl:template match="w"> <xsl:variable name="current-lemma" select="string(@lemma)"/> <xsl:if test="@lemma and ($lemma-freq?current-lemma, 0)[1] eq 1"> <xsl:copy> <xsl:copy-of select="@* | node()"/> </xsl:copy> </xsl:if> </xsl:template> </xsl:stylesheet>
示例效果验证
对应测试输入:
<p> <w lemma="one">a</w> <w lemma="two">b</w> <w lemma="three">c</w> <w lemma="one">d</w> <w lemma="two">e</w> </p>
第一遍扫描生成的频次映射为:
{ "one": 2, "two": 2, "three": 1 }
最终输出结果:
<p> <w lemma="three">c</w> </p>
完全符合预期。
新手避坑提示
- 禁止使用
count(//w[@lemma = current()/@lemma])的嵌套遍历逻辑实现过滤,该写法会在每个节点匹配时触发全文档扫描,处理效率随文件体积呈指数级下降,百MB级文件就可能出现卡死 - 代码中的
href="input.xml"需要替换为实际的待处理XML文件路径 - 若XML存在命名空间,仅需在XSLT根节点声明对应命名空间前缀,将匹配表达式中的
w替换为带前缀的节点名即可,核心逻辑无需改动 - 该实现对重复值的判定为全文档范围,不会出现跨节点范围的统计偏差
内容的提问来源于stack exchange,提问作者Benjamín Molineaux
相关产品推荐
相关产品推荐

