You need to enable JavaScript to run this app. xQuery 1.0使用normalize-space()后输出仍带尾随空格如何解决
优惠活动
大模型
产品
解决方案
定价
更多

xQuery 1.0使用normalize-space()后输出仍带尾随空格如何解决

问题根源

现有代码的文本归一化逻辑仅作用于目标词的匹配判断环节,没有覆盖后继词的提取、统计、输出全流程,最终导致原始XML中<w>节点夹带的尾随空格被直接带入结果。
具体偏差点:

  • 提取后继词时,直接取目标词相邻第一个<w>兄弟节点的原始文本,未执行normalize-space()清洗,节点自带的尾部空格会被完整保留,最终出现在表格的Successor列中。
  • 后续统计共现频次、全局词频时,直接使用未清洗的原始文本做等值匹配,还会引发统计偏差:同一个单词会因为部分带尾空格、部分不带空格被识别为两个独立值,拉低概率计算的准确性。
修复方案

适配XQuery 1.0版本的逻辑调整:

  • 所有涉及<w>节点文本比对、提取的环节,统一前置执行normalize-space()清洗,消除首尾空格、压缩连续多余空格。
  • 对后继词做去重时,基于清洗后的文本值执行distinct-values(),从根源上过滤带空格的脏数据。
  • 统计共现频次、全局词出现次数的逻辑,全部基于清洗后的标准化文本做匹配,保证计数准确。

修正后的完整代码:

<html>
<body>
<table border='1'>
<tr><td>Target</td><td>Successor</td><td>Probability</td></tr>
{
let $targetword := "has"
(: 生成全量标准化词集合,用于全局词频统计 :)
let $totalwords_clean := collection("./?select=*xml")//s//w 
    ! normalize-space(lower-case(.))
(: 定位所有匹配目标词的节点位置 :)
let $t_word_occ := collection("./?select=*xml")//s//w
    [lower-case(normalize-space(.)) = $targetword]
(: 提取后继词并做标准化清洗,再去重 :)
for $successor in distinct-values(
    $t_word_occ/following-sibling::w[1] 
    ! normalize-space(lower-case(.))
)
(: 基于标准化文本统计共现频次 :)
let $freq := count(
    $t_word_occ/following-sibling::w[1]
    [lower-case(normalize-space(.)) = $successor]
)
(: 基于标准化文本统计后继词全局出现次数 :)
let $dwtw := count($totalwords_clean[. = $successor])
let $prob := $freq div $dwtw
order by $prob descending
return <tr>
    <td>{$targetword}</td>
    <td>{$successor}</td>
    <td>{$prob}</td>
</tr>
}
</table>
</body>
</html>

补充说明:上述代码所有逻辑均兼容XQuery 1.0规范,如果遇到部分老旧XQuery 1.0实现不支持简单Map(!)语法,可直接把对应映射逻辑替换为基础FLWOR写法。如果担心残留的空格问题,可以在输出Successor单元格时再做一次兜底清洗,彻底杜绝尾随空格出现在最终结果里。

内容的提问来源于stack exchange,提问作者Hassan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 21:06:03