SOLR无法继续上传CSV数据且大数据集上传报错如何处理

1. 调整单次上传批次大小 #

• 不要一次性上传整个大CSV，将文件拆分为单批次1万-10万条记录的小分片分批上传，避免单次请求占用内存过高触发OOM或请求超时
• 如果用官方post工具上传，可以添加-Dauto=yes -Drecursive -Ddelay=1000参数设置批次间隔，减轻服务端压力
• 上传时可添加commit=false参数，全量上传完成后再手动触发一次硬提交，能大幅提升上传速度，避免频繁提交导致的性能损耗

2. 调整Solr服务端配置参数 #

• 修改对应Core下solrconfig.xml的请求上限配置，调大<requestDispatcher><requestParsers>节点下的大小限制参数，默认值一般为2MB，可根据CSV大小调整为1GB或更高：

<requestParsers enableRemoteStreaming="true" multipartUploadLimitInKB="1048576" formdataUploadLimitInKB="1048576" maxFormContentSize="1073741824"/>

• 调大Solr堆内存大小，修改solr.in.sh（Linux环境）或solr.in.cmd（Windows环境）中的SOLR_HEAP参数，建议设置为物理内存的50%-70%，例如设置为16G：SOLR_HEAP="16g"
• 调整索引写入缓存参数，修改solrconfig.xml中的<indexConfig>节点，调大ramBufferSizeMB为2048或更高，减少刷盘频率：

<ramBufferSizeMB>2048</ramBufferSizeMB>
<maxBufferedDocs>100000</maxBufferedDocs>

3. 检查CSV文件本身合规性 #

• 确认CSV字段分隔符、换行符、转义符和上传时指定的参数一致，避免字段错位触发类型转换报错
• 提前清理CSV中的空值、不符合字段类型的异常值，必要时在上传参数中添加f.*.split=false关闭自动拆分，添加skip=true跳过异常行

4. 调整上传请求超时配置 #

• 若用HTTP接口上传，调大客户端超时时间到300s以上，避免服务端还在处理数据就被客户端主动断开连接
• 若服务端部署在反向代理后，同步调整Nginx等代理的proxy_read_timeout、client_max_body_size参数，避免代理层拦截大请求

内容的提问来源于stack exchange，提问作者Kiddas