Solr 8全量导入正常，但增量导入无法更新字段问题排查

嘿，看起来你在Solr增量导入时遇到了字段不更新的麻烦，结合你的配置和测试细节，我来帮你拆解下核心问题和解决办法：

1. 数据导入配置的致命问题：聚合逻辑错误 #

你的data-config.xml里，city实体的全量和增量查询都用了GROUP BY latitude,longitude加MAX()聚合的方式，但这种写法有很大问题：

• MAX(gc.id)、MAX(name)这类聚合会从同一经纬度的不同行里各自取最大值，不是获取最新更新的那一行完整数据。比如你修改了某行的alternate_names，但如果这行的id不是该经纬度分组里的最大值，MAX(gc.id)会指向另一行，导致导入的还是旧数据。
• 你的deltaImportQuery里多了个updatedate < getdate()条件，如果把updatedate设成当前时间（和getdate()相等），这行直接会被过滤掉，根本导不进来。

配置修复方案： #

重新梳理查询逻辑，确保拿到每个经纬度分组下最新更新的完整行，而不是零散聚合字段：

优化全量导入查询：

SELECT gc.id, gc.geonameid, gc.name, gc.name_en, gc.alternate_names, gc.longitude, gc.latitude, gc.updatedate
FROM geo_cities gc
INNER JOIN (
    -- 先找到每个经纬度分组的最新更新时间
    SELECT latitude, longitude, MAX(updatedate) AS latest_update
    FROM geo_cities
    WHERE latitude <> '' AND longitude <> '' AND [country code] <> ''
    GROUP BY latitude, longitude
) latest 
ON gc.latitude = latest.latitude 
AND gc.longitude = latest.longitude 
AND gc.updatedate = latest.latest_update

调整增量导入相关查询：

• deltaQuery：返回有数据变更的经纬度分组（因为你的数据是按经纬度去重的，变更某一行等于变更整个分组）：

  SELECT DISTINCT latitude, longitude 
  FROM geo_cities 
  WHERE updatedate > '${dataimporter.last_index_time}'
  

• deltaImportQuery：根据delta返回的经纬度，获取该分组下的最新行：

  SELECT gc.id, gc.geonameid, gc.name, gc.name_en, gc.alternate_names, gc.longitude, gc.latitude, gc.updatedate
  FROM geo_cities gc
  INNER JOIN (
      SELECT MAX(updatedate) AS latest_update
      FROM geo_cities
      WHERE latitude = '${dataimporter.delta.latitude}' AND longitude = '${dataimporter.delta.longitude}'
  ) latest 
  ON gc.latitude = '${dataimporter.delta.latitude}' 
  AND gc.longitude = '${dataimporter.delta.longitude}' 
  AND gc.updatedate = latest.latest_update
  

  记得删掉deltaImportQuery里多余的updatedate < getdate()条件哦。

2. 增量导入后的Commit与缓存坑点 #

你说第一次增量导入显示"Committed"但查出来还是旧值，大概率是Solr查询缓存在搞鬼。Solr会缓存常用查询的结果，哪怕索引更新了，缓存的旧数据还是会返回。可以试试：

• 查询时加cache=false参数绕过缓存：

  http://localhost:8983/solr/#/cities/query?q=*:*&q.op=OR&indent=true&fq=geonameid:111&cache=false
  

• 或者通过Core Admin页面执行"Reload"操作，重启这个Core来清空缓存。

至于后来加&commit=true后增量导入没变化，可能是这两个原因：

• 第一次增量导入后，dataimporter.last_index_time已经更新成导入时间了，你再次修改updatedate时，时间可能没超过这个值（比如修改操作和第一次增量的时间差太小）；
• 检查数据库updatedate的时间格式和时区，是不是和Solr存储的last_index_time不匹配（比如数据库用本地时区，Solr用UTC，导致时间比较出错）。

3. 实时数据同步的解决方案 #

你提到需要实时同步，DIH的增量导入是拉模式，适合定时同步，做不到真正实时。如果要准实时或实时同步，推荐两种方式：

• 直接推送变更：在业务代码里，当数据库数据修改时，直接调用Solr的Update API（比如/solr/cities/update）发送更新请求，带上commit=true参数确保变更立即生效。单节点Solr完全支持这个功能，不需要Solr Cloud。
• CDC工具同步：如果不想改业务代码，可以用数据库触发器或者CDC工具监听数据库变更事件，自动把变更推送到Solr。

内容的提问来源于stack exchange，提问作者Adam