如何解决Solr字段最大长度限制及大文档重索引报错问题？

1. 修复重复字段定义 #

你的配置里存在两个同名的text字段，这是Solr明确禁止的配置错误，会直接引发索引冲突，处理大文档时更容易触发报错。必须删除其中一个重复定义，或者给它们重命名区分：

• 若只需保留一种文本处理逻辑：删除其中一个<field name="text">节点，比如保留text_en类型的字段
• 若需要同时保留两种处理逻辑：给字段起不同名称，示例：

<field name="text" type="text_en" default="" indexed="true" stored="true"/> 
<field name="text_raw" type="keyword_content" default="" indexed="true" stored="true" />

2. 解决keyword类型的大文本长度限制 #

keyword_content类型使用keyword分词器，会把整个文本当作单个词存储，而Solr默认对单个词的长度有上限（默认32766字节），大文档的文本长度远超这个值就会报错。可以通过两种方式处理：

• 调整分词器的最大词长：在keyword_content的字段类型定义中，给keyword分词器添加maxTokenLength参数，设置足够大的数值：

<fieldType name="keyword_content" class="solr.TextField" omitNorms="true" positionIncrementGap="100">
    <analyzer type="index">
      <tokenizer name="keyword" maxTokenLength="100000"/> <!-- 根据实际文档大小调整 -->
    </analyzer>
    <analyzer type="query">
      <tokenizer name="keyword" maxTokenLength="100000"/>
    </analyzer>    
 </fieldType>

• 更换字段类型：如果不需要精确匹配整个大文本，改用text_en这类支持分词的字段类型，避免把完整大文本作为单个词存储。

3. 同步调整copyField配置 #

如果修改了字段名称，对应的copyField也要同步更新，比如：

<copyField source="text_raw" dest="text_exact" />

4. 大文档索引的额外优化 #

• 调高Solr的JVM堆内存，避免内存溢出：在启动脚本中设置类似-Xms4g -Xmx8g的参数（根据服务器硬件配置调整）
• 若不需要返回原始大文本，将对应字段的stored设为false，减少磁盘和内存消耗

内容的提问来源于stack exchange，提问作者Snoz3f