SOLR大结果集致网站崩溃：基于PHP/Drupal的性能优化求助

一、问题排查方向 #

• 开启SOLR DEBUG级日志：修改solr的log4j2.xml，将<Logger name="org.apache.solr" level="debug"/>，重启后复现问题，查看请求参数、堆内存波动、GC及异常栈信息（之前日志无内容可能是级别过低）。
• 检查SOLR堆内存与GC：查看solr.in.sh中的SOLR_HEAP参数，8.9.0版本建议至少4G（根据服务器内存调整，如16G内存设8G）；添加-XX:+PrintGCDetails -XX:+PrintGCTimeStamps到SOLR_JAVA_OPTS，排查是否存在OOM或频繁Full GC。
• 直接测试SOLR接口：绕过Drupal，在SOLR Admin的Query页面执行相同搜索请求，确认是SOLR本身还是Drupal端的问题。
• 检查Drupal错误日志：查看sites/default/files/logs下的日志，排查是否存在PHP内存不足、执行超时等导致的500错误。

二、SOLR性能优化 #

• 改用Cursor Mark深分页：替代offset分页，避免offset过大时SOLR扫描大量无效数据。Drupal Search API Solr模块支持该特性，需在搜索配置或视图中开启。
• 精简查询与返回字段：用fl参数指定仅需返回的字段，减少数据传输；避免使用前缀通配符查询（如*test），此类查询会触发全索引扫描。
• 优化索引结构：确保字段类型匹配（数字/日期用对应fieldType，避免字符串存数字）；低峰期执行POST /collection/update?optimize=true优化索引，提升查询效率。
• 调整缓存策略：在solrconfig.xml中优化缓存配置，比如调整queryResultCache、filterCache的size和autowarmCount参数，降低重复查询的开销。

三、系统层面调整 #

• 优化内存与swap：给SOLR分配充足堆内存，同时保留足够系统内存供磁盘缓存；禁用swap或把swappiness调至10以下，避免内存交换拖慢性能。
• 升级硬件：使用SSD磁盘提升IO性能；增加CPU核心数，SOLR查询属于CPU密集型操作，核心不足会导致大数据集查询超时。
• 调整连接线程池：修改SOLR的jetty.xml，调大maxThreads（如设200）和acceptors（如设4），适配高并发查询；PHP端调长curl连接超时时间。

四、Drupal端适配优化 #

• 限制单次结果数量：在搜索视图中设置分页（如每页20条），禁止一次性加载所有结果；若需展示大量数据，采用AJAX滚动加载分批处理。
• 提升PHP内存：修改php.ini的memory_limit至256M以上，同时检查Drupal settings.php中是否有内存限制的覆盖配置。
• 更新模块版本：确保Search API Solr模块为对应Drupal版本的最新稳定版，旧版本可能存在大数据集处理的bug。
• 优化结果预处理：减少对每条搜索结果的额外数据库查询或渲染操作，改用批量查询或缓存结果，降低服务器负载。

内容的提问来源于stack exchange，提问作者avbb