Lucene 7中TextField(TokenStream)用法变更致代码报错原因咨询

你遇到的这个 IllegalArgumentException 错误，核心原因是Lucene 7 对 TokenStream 中 Token 偏移量的校验规则做了大幅收紧，而 Lucene 6 对这部分的检查相对宽松，导致原本在旧版本中能正常运行的代码，在新版本中触发了合法性校验。

具体变更点 #

• 偏移量连续合法性的强制校验
  在 Lucene 7 的 DefaultIndexingChain$PerField.invert 方法中，新增了对 Token 偏移量的三重校验：

  1. startOffset 必须非负；
  2. endOffset 必须大于等于 startOffset；
  3. 后续 Token 的 startOffset 不能小于前一个 Token 的起始偏移量（也就是不能出现偏移量“回退”的情况）。
     而在 Lucene 6 中，这些校验要么不存在，要么仅做了基础检查，哪怕 Token 偏移量逻辑上有小问题也不会报错。

• TokenFilter 链的偏移量维护要求更高
  Lucene 7 要求整个 TokenFilter 处理链路中的每个组件，都必须正确维护 Token 的偏移量信息。如果你的 createContentFilter 方法返回的 TokenFilter 在处理 Token（比如过滤、修改、生成新 Token）时，没有同步更新对应的 startOffset 和 endOffset，或者生成的 Token 出现了偏移量顺序混乱的情况，在 Lucene 6 中可能被忽略，但在 Lucene 7 中会直接触发异常。

修复建议 #

1. 排查自定义 TokenFilter 的偏移量处理逻辑
   打开你的 createContentFilter 实现，仔细检查每个 TokenFilter 环节：当你修改 Token 的文本内容（比如截断、合并词项）时，是否同步调用了 token.setOffset() 来设置合法的偏移量？确保所有 Token 的偏移量都是递增且符合文本原始位置逻辑的。

2. 添加调试代码定位问题 Token
   在将 TokenStream 传入 TextField 之前，手动遍历 TokenStream 打印偏移量，找出导致回退的具体 Token：

   TokenFilter contentFilter = createContentFilter(body);
   contentFilter.reset();
   CharTermAttribute termAttr = contentFilter.addAttribute(CharTermAttribute.class);
   OffsetAttribute offsetAttr = contentFilter.addAttribute(OffsetAttribute.class);
   int lastStartOffset = -1;
   
   while (contentFilter.incrementToken()) {
       int currentStart = offsetAttr.startOffset();
       int currentEnd = offsetAttr.endOffset();
       System.out.printf("Token: %s | 起始偏移: %d | 结束偏移: %d%n", 
                         termAttr.toString(), currentStart, currentEnd);
       
       if (currentStart < lastStartOffset) {
           System.err.println("发现偏移量回退！当前Token起始偏移小于上一个Token的起始偏移");
       }
       lastStartOffset = currentStart;
   }
   contentFilter.reset(); // 重置TokenStream，确保后续能正常添加到文档
   

   通过这段代码可以快速定位到出问题的 Token，针对性修复偏移量逻辑。

3. 借助 Lucene 内置工具修正偏移量
   如果你的 TokenFilter 是基于现有组件组合而成，且暂时无法修改底层逻辑，可以尝试添加 OffsetCorrectionFilter 来自动修正偏移量问题，但更推荐从根源上修复自定义逻辑的偏移量错误，避免后续出现其他兼容性问题。

内容的提问来源于stack exchange，提问作者David