如何在Solr中对本地文件（非HDFS）执行并行索引？

我之前帮团队处理过几乎一模一样的场景——用Cloudera Solr索引本地存储的大体积JSON数据，没法碰HDFS，当时也是卡了一阵子才找到合适的路子，分享几个亲测可行的方案给你：

方案1：拆分数据+多客户端并行提交 #

这是最直接易上手的方式：

• 先把1TB的JSON数据按大小或者数量拆分成多个独立子目录，比如每个目录下放30-50GB的文件，避免单个进程处理的数据量过大撑爆内存
• 启动多个独立的Solr索引客户端进程：如果是多核机器，直接在本地开多个终端窗口分别运行索引命令；如果有多台机器，也可以把数据分片同步过去分别处理
  • 用Solr自带的post命令示例：bin/post -c your_target_collection -d /path/to/your/subdir_01
  • 注意调整每个客户端的JVM堆内存（修改SOLR_JAVA_MEM环境变量），比如给每个进程分配2-4GB堆内存，根据机器总内存合理分配
• 因为是SolrCloud集群，多个客户端同时提交的文档会自动被集群的分片节点处理，Solr会自行维护索引一致性，不用额外做协调工作

方案2：用Solr Batch Processor多线程批量处理 #

Cloudera Solr集成了批量处理工具，能直接支持多线程并行处理本地文件：

• 写一个简单的批量配置文件，指定数据源为本地JSON文件路径，设置多线程参数：

  <batchConfig>
    <!-- 指向你的JSON数据根目录 -->
    <source>file:///opt/your_json_data_root</source>
    <!-- 指定JSON文档处理器，设置线程数为机器核心数的1-2倍 -->
    <documentProcessor class="org.apache.solr.handler.batch.JsonDocumentProcessor">
      <param name="threadCount" value="8"/>
    </documentProcessor>
    <!-- 指向你的SolrCloud集群地址 -->
    <target>http://solr-node-01:8983/solr/your_collection</target>
  </batchConfig>
  

• 然后用Solr命令启动批量任务：bin/solr batch -config /path/to/your_batch_config.xml
• 这个工具会自动遍历目录下的所有JSON文件，用多线程并行解析和提交，不用手动拆分数据，省心很多

方案3：借助本地调度工具实现多机器分布式索引 #

如果有多余的机器可用，能最大化提升索引速度：

• 用rsync把拆分好的数据分片同步到不同机器上，确保每台机器只负责一部分数据
• 用Ansible或者批量脚本同时在所有机器上启动Solr索引任务，避免手动逐个操作
• 这种方式适合超大体积数据，能把多台机器的CPU和IO资源都利用起来

几个必注意的细节 #

• 先拿小批量数据做测试，确保你的JSON格式能被Solr正确解析，避免因为个别坏文件导致整个任务中断
• 调整Solr的提交策略：开启softCommit（比如每1分钟一次）来平衡索引速度和查询可见性，不要频繁触发硬提交，否则会严重拖慢索引效率
• 监控Solr集群的负载：并行索引会消耗大量磁盘IO和内存，时刻关注集群节点的状态，避免出现节点宕机的情况

内容的提问来源于stack exchange，提问作者Choix