如何修改Solr数据配置实现从PostgreSQL批量分页读取数据？

核心思路 #

Solr的DataImportHandler（DIH）支持通过配置结合SQL分页语法，或者利用DIH内置参数实现分批读取数据，避免一次性拉取百万级数据压垮PostgreSQL。

方法一：直接在SQL中使用LIMIT/OFFSET实现分页 #

在data-config.xml的<entity>配置里，直接写带分页逻辑的查询语句，配合外部循环调用实现分批全量导入：

<dataConfig>
  <dataSource type="JdbcDataSource" driver="org.postgresql.Driver" url="jdbc:postgresql://localhost:5432/your_db" user="db_user" password="db_pass"/>
  <document>
    <entity name="target_table" 
            query="SELECT id, content, update_time FROM target_table ORDER BY id LIMIT ${page_size} OFFSET ${offset}"
            deltaQuery="SELECT id FROM target_table WHERE update_time > '${dataimporter.last_index_time}'"
            deltaImportQuery="SELECT id, content, update_time FROM target_table WHERE id = '${dataimporter.delta.id}'">
      <!-- 字段映射配置 -->
      <field column="id" name="id"/>
      <field column="content" name="content"/>
      <field column="update_time" name="update_time"/>
    </entity>
  </document>
</dataConfig>

使用时通过命令行或脚本循环调用全量导入接口，每次调整offset参数：

• 首次调用（拉取前1000条）：

  curl "http://your-solr:8983/solr/your_core/dataimport?command=full-import&clean=false&commit=false&page_size=1000&offset=0"
  

• 后续每次递增offset（比如offset=1000、offset=2000），直到返回的导入数据量为0，最后执行一次带commit=true的请求完成最终提交。

方法二：利用DIH脚本自动处理分页逻辑 #

通过DIH内置的脚本功能，实现分页参数的动态生成，配合外部循环完成分批导入：

<dataConfig>
  <dataSource type="JdbcDataSource" driver="org.postgresql.Driver" url="jdbc:postgresql://localhost:5432/your_db" user="db_user" password="db_pass"/>
  <script><![CDATA[
    function getPageSize() {
      return dataimporter.request.page_size || 1000;
    }
    function getOffset() {
      return dataimporter.request.offset || 0;
    }
  ]]></script>
  <document>
    <entity name="target_table" 
            query="SELECT id, content, update_time FROM target_table ORDER BY id LIMIT ${getPageSize()} OFFSET ${getOffset()}"
            deltaQuery="SELECT id FROM target_table WHERE update_time > '${dataimporter.last_index_time}'">
      <!-- 字段映射配置 -->
      <field column="id" name="id"/>
      <field column="content" name="content"/>
      <field column="update_time" name="update_time"/>
    </entity>
  </document>
</dataConfig>

关键注意事项 #

• 全量导入阶段关闭自动提交（commit=false），所有批次完成后再手动提交，减少Solr和数据库的压力。
• 分页排序优先用主键ID，避免用时间字段（可能存在重复值导致数据重复或遗漏）。
• 根据数据库性能调整分页大小，比如从1000条开始测试，若数据库负载过高则调小至500条。
• 可以给PostgreSQL设置statement_timeout参数，防止单个分页查询耗时过长阻塞其他请求。

内容的提问来源于stack exchange，提问作者Marko Ljubisavljevic