如何将百万级Students表数据稳定拆分至5个并行进程导入Solr？

我之前处理过类似的大规模数据导入Solr的场景，核心痛点就是要保证拆分的稳定性——也就是不管什么时候查询，每个分片的数据集都是固定的，不会出现重复或遗漏的情况，毕竟并行导入要是数据乱了，后续排查起来太麻烦。你提到的ntile函数确实能分桶，但它的稳定性完全依赖于排序逻辑，咱们来一步步拆解靠谱的方案：

方案一：基于主键范围拆分（最稳定，优先推荐） #

这是我最常用的方案，只要你的Students表有全局唯一且稳定的主键（比如自增ID、UUID转的数值等），就能实现绝对稳定的分片：

1. 先获取主键的极值：

SELECT MIN(student_id), MAX(student_id) FROM Students;

假设查询结果是min_id=1，max_id=1000000，那每个分片的范围就可以直接按20万划分：

• 进程1：student_id BETWEEN 1 AND 200000
• 进程2：student_id BETWEEN 200001 AND 400000
• ...以此类推到进程5

2. 每个进程执行对应范围的查询，然后批量导入Solr。

优势： #

• 绝对稳定：只要主键不被修改，不管数据有没有新增（新增的会落在后续范围，不影响已拆分的分片），每个分片的数据集都是固定的；
• 容易排查：如果某个进程失败，直接重新跑对应范围的查询即可；
• 性能好：范围查询通常会走主键索引，速度非常快。

注意： #

如果主键不是连续的（比如有删除导致的间隙），某个分片的记录数可能略少于20万，但总数据量是准确的。如果一定要严格每个分片20万，可以先统计每个区间的记录数，再微调范围，但一般导入场景不需要这么严格。

方案二：基于唯一键哈希分片（无需提前统计极值） #

如果不想提前查主键极值，或者主键是字符串类型，可以用哈希取模的方式分片，同样能保证稳定性：

比如用主键student_id的哈希值对5取模，每个进程处理对应模值的记录：

-- 进程1处理模0的记录
SELECT * FROM Students WHERE MOD(student_id, 5) = 0;

-- 如果是字符串类型主键，用CRC32哈希（以MySQL为例）
SELECT * FROM Students WHERE CRC32(student_id) % 5 = 0;

优势： #

• 无需提前统计：直接写SQL就能分片，适合主键不连续或未知极值的场景；
• 分布均匀：只要主键是随机/均匀分布的，每个分片的记录数会非常接近20万；
• 稳定性高：同一个主键永远会分到同一个分片，新增数据也会自动落到对应分片，不影响已有分片的处理。

关于ntile函数的正确用法（仅适合静态数据） #

你担心ntile的稳定性，其实是因为如果没有固定的排序字段，每次查询的结果顺序可能变化，导致分桶结果不一致。如果你的数据在导入期间是静态的（没有新增、删除、修改），可以用ntile加固定排序来分片：

SELECT *, NTILE(5) OVER (ORDER BY student_id) AS bucket FROM Students;

然后每个进程处理bucket=1到bucket=5的记录。但如果导入期间数据有变化，这个方案就会出现分桶结果不一致的问题，所以只适合静态数据集。

额外注意事项 #

• 导入期间尽量锁表或禁止写入：避免数据变化导致的重复/遗漏；
• 批量提交Solr：每个进程处理完一批数据（比如1000条）就提交一次，避免内存溢出；
• 记录处理进度：每个进程可以记录已处理的主键范围或模值，方便失败后重试。

内容的提问来源于stack exchange，提问作者user3076539