Solr中FileFloatSource$Cache.get资源锁问题及解决方案咨询

针对你遇到的FileFloatSource$Cache.get资源锁定导致查询延迟差异显著的问题，以下是几个可行的解决思路：

1. 替换为SortedSetDocValuesField实现动态评分 #

ExternalFileField的全局锁问题源于其文件加载与缓存的同步机制，改用SortedSetDocValuesField可避免这类锁竞争，同时支持原子更新：

• 在schema.xml中定义字段：

  <field name="doc_score" type="pfloat" indexed="false" stored="false" docValues="true"/>
  

• 使用Solr原子更新API批量更新评分：

  curl -X POST -H "Content-Type: application/json" http://your-solr-host:8983/solr/your-core/update -d '[
    {"id":"doc-121", "doc_score":{"set":2.56}},
    {"id":"doc-122", "doc_score":{"set":2.30}},
    {"id":"doc-123", "doc_score":{"set":2.45}}
  ]'
  

• 查询时直接用该字段做排序或boost因子：

  q=*:*&sort=doc_score desc
  # 或作为boost因子
  q=*:*&bf=doc_score
  

2. 调整ExternalFileField的重载策略 #

修改ExternalFileField配置，避免同步加载导致的锁阻塞：

• 更新schema.xml中的字段类型配置，添加异步重载策略：

  <fieldType name="ext_doc_field" class="solr.ExternalFileField" 
             keyField="id" defVal="1.5" 
             reloadPolicy="async" 
             cacheSize="100000"/> <!-- 根据实际文档量调整缓存大小 -->
  

  • reloadPolicy="async"：文件变化时异步加载，不会阻塞当前查询
  • 仅在需要更新评分时修改外部文件的修改时间，避免频繁触发重载
  • 增大cacheSize覆盖大部分查询场景，减少缓存miss带来的锁竞争

3. 使用Solr运行时字段自定义无锁缓存逻辑 #

如果使用Solr 8.0+，可通过运行时字段实现自定义的线程安全缓存：

• 在solrconfig.xml中添加运行时字段定义，用Groovy脚本加载外部文件到线程安全缓存：

  <runtimeLib path="/path/to/your-scripts"/>
  <runtimeField name="runtime_doc_score" type="pfloat">
    <script><![CDATA[
      import java.util.concurrent.ConcurrentHashMap;
      import java.nio.file.Files;
      import java.nio.file.Paths;
  
      // 线程安全缓存，仅首次加载时读取文件
      def cache = new ConcurrentHashMap<>();
      if (cache.isEmpty()) {
        Files.lines(Paths.get("/path/to/your-scores.txt")).forEach(line -> {
          def parts = line.split("=");
          cache.put(parts[0], Float.parseFloat(parts[1]));
        });
      }
      return cache.getOrDefault(doc.get("id"), 1.5f);
    ]]></script>
  </runtimeField>
  

• 查询时直接使用该运行时字段：

  q=*:*&sort=runtime_doc_score desc
  

4. 禁用自动重载，手动预加载缓存 #

如果评分数据更新频率极低，可禁用自动重载避免锁竞争：

• 修改schema.xml配置：

  <fieldType name="ext_doc_field" class="solr.ExternalFileField" 
             keyField="id" defVal="1.5" 
             reloadPolicy="never"/>
  

• 每次更新评分文件后，手动调用Core重载API：

  curl http://your-solr-host:8983/solr/admin/cores?action=RELOAD&core=your-core
  

内容的提问来源于stack exchange，提问作者sagarg