Lucene实现自定义前缀移除TokenFilter生成脏令牌问题求解

• 核心错误出在词条读取逻辑：new String(termAtt.buffer())会读取整个复用缓冲区的全部内容，而缓冲区中只有前termAtt.length()个字符是当前词条的有效内容，超出部分都是之前查询留下的残留字符，多次调用后残留字符累积就会出现异常输出。
• 缺少TokenStream生命周期适配：Lucene的TokenFilter会被复用，没有重写reset()方法清空属性状态，也会加剧残留问题。

你新增的缓冲区清空、重设偏移量等操作，可以解决写入词条时的缓冲区残留问题，但没有修复读取词条时的核心错误，异常依然会出现。

修正后的代码如下：

public static class PrefixFilter extends TokenFilter {
    // 不要强转为实现类，直接用接口保证兼容性
    private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);

    public PrefixFilter(TokenStream in) {
        super(in);
    }

    // 重写reset方法，复用时清空状态
    @Override
    public void reset() throws IOException {
        super.reset();
    }

    @Override
    public final boolean incrementToken() throws IOException {
        if (!input.incrementToken()) {
            return false;
        }
        // 用toString()自动按实际有效长度读取词条，不会读到残留字符
        String value = termAtt.toString().trim().toLowerCase();
        value = StringUtils.removeStart(value, "prefix_");
        if (value.isBlank()) {
            termAtt.setEmpty();
        } else {
            // 写入时清空旧内容，再复制新值
            termAtt.setEmpty();
            termAtt.copyBuffer(value.toCharArray(), 0, value.length());
            // 不需要手动调用setLength，copyBuffer会自动设置正确长度
            // 如果业务需要修改词条偏移再放开下面这句，否则继承上游偏移即可
            // termAtt.setOffset(0, value.length());
        }
        return true;
    }
}

• Lucene的CharTermAttribute.toString()方法已经做了长度裁剪，会只返回当前有效字符，不需要手动读取buffer构造字符串。
• copyBuffer()方法内部会自动处理缓冲区扩容，不需要提前调用resizeBuffer()。
• 非特殊场景不需要修改词条偏移量，默认继承上游TokenStream的偏移量即可，避免后续高亮、位置计算出现异常。

内容的提问来源于stack exchange，提问作者Phaedra Casadio