xQuery 1.0使用normalize-space()后输出仍带尾随空格如何解决
问题根源
现有代码的文本归一化逻辑仅作用于目标词的匹配判断环节,没有覆盖后继词的提取、统计、输出全流程,最终导致原始XML中<w>节点夹带的尾随空格被直接带入结果。
具体偏差点:
- 提取后继词时,直接取目标词相邻第一个
<w>兄弟节点的原始文本,未执行normalize-space()清洗,节点自带的尾部空格会被完整保留,最终出现在表格的Successor列中。 - 后续统计共现频次、全局词频时,直接使用未清洗的原始文本做等值匹配,还会引发统计偏差:同一个单词会因为部分带尾空格、部分不带空格被识别为两个独立值,拉低概率计算的准确性。
修复方案
适配XQuery 1.0版本的逻辑调整:
- 所有涉及
<w>节点文本比对、提取的环节,统一前置执行normalize-space()清洗,消除首尾空格、压缩连续多余空格。 - 对后继词做去重时,基于清洗后的文本值执行
distinct-values(),从根源上过滤带空格的脏数据。 - 统计共现频次、全局词出现次数的逻辑,全部基于清洗后的标准化文本做匹配,保证计数准确。
修正后的完整代码:
<html> <body> <table border='1'> <tr><td>Target</td><td>Successor</td><td>Probability</td></tr> { let $targetword := "has" (: 生成全量标准化词集合,用于全局词频统计 :) let $totalwords_clean := collection("./?select=*xml")//s//w ! normalize-space(lower-case(.)) (: 定位所有匹配目标词的节点位置 :) let $t_word_occ := collection("./?select=*xml")//s//w [lower-case(normalize-space(.)) = $targetword] (: 提取后继词并做标准化清洗,再去重 :) for $successor in distinct-values( $t_word_occ/following-sibling::w[1] ! normalize-space(lower-case(.)) ) (: 基于标准化文本统计共现频次 :) let $freq := count( $t_word_occ/following-sibling::w[1] [lower-case(normalize-space(.)) = $successor] ) (: 基于标准化文本统计后继词全局出现次数 :) let $dwtw := count($totalwords_clean[. = $successor]) let $prob := $freq div $dwtw order by $prob descending return <tr> <td>{$targetword}</td> <td>{$successor}</td> <td>{$prob}</td> </tr> } </table> </body> </html>
补充说明:上述代码所有逻辑均兼容XQuery 1.0规范,如果遇到部分老旧XQuery 1.0实现不支持简单Map(!)语法,可直接把对应映射逻辑替换为基础FLWOR写法。如果担心残留的空格问题,可以在输出Successor单元格时再做一次兜底清洗,彻底杜绝尾随空格出现在最终结果里。
内容的提问来源于stack exchange,提问作者Hassan
相关产品推荐
相关产品推荐

