MySQL并行导出时数值范围的均匀重分配方案咨询

嘿，这个问题我在处理MySQL大数据量并行导出时踩过不少坑，终于摸出了几个能让数值范围拆分得均匀靠谱的方法，分享给你：

先搞清楚数据的真实分布 #

别上来就拍脑袋均分数值范围！比如自增ID列如果中间有大量删除，或者某些区间数据密度特别高，直接按(max-min)/N拆分肯定会导致有的任务扛着90%的数据，有的闲得发慌。

先跑这条SQL摸清底数：

SELECT 
  MIN(id) AS min_val,
  MAX(id) AS max_val,
  COUNT(*) AS total_rows,
  -- 看分位数判断数据倾斜情况
  PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY id) AS p25,
  PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY id) AS p50,
  PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY id) AS p75
FROM your_table;

如果p25、p50、p75的间隔差不多，说明数据分布均匀；要是前25%区间占了80%的行数，那得用针对性的拆分方案。

方法一：按行数动态拆分（最通用） #

核心目标是让每个并行任务处理的行数尽量接近，而不是数值范围相等。用窗口函数NTILE就能轻松实现：

假设你要启动N个并行任务，执行这条SQL：

WITH ranked_data AS (
  SELECT 
    id,
    NTILE(N) OVER (ORDER BY id) AS bucket_num
  FROM your_table
)
SELECT 
  bucket_num,
  MIN(id) AS bucket_min,
  MAX(id) AS bucket_max,
  COUNT(*) AS bucket_rows
FROM ranked_data
GROUP BY bucket_num
ORDER BY bucket_num;

执行结果里每个bucket_num对应的bucket_min和bucket_max就是每个任务要导出的数值范围，而且每个分片的行数基本一致。

小贴士：如果表是亿级以上的超大表，窗口函数可能会有点慢，这时候可以先抽样（比如SELECT id FROM your_table LIMIT 100000）统计分布，再估算拆分点；或者直接用NTILE，大表的话MySQL也能扛住，只是多等一会儿。

方法二：针对倾斜数据的加权拆分 #

如果数据有明显倾斜（比如某个小数值区间塞了大量数据），就得手动调整拆分粒度：

• 先用第一步的统计SQL找出倾斜区间（比如id 1-1000有100万行，1001-10000只有10万行）
• 把倾斜区间拆成多个小分片，非倾斜区间合并成大分片，保证每个分片的行数差距在可接受范围内

举个实际例子：
原数据分布：

• 1-1000：100万行
• 1001-10000：10万行
• 10001-20000：10万行
• 20001-30000：10万行

要拆成4个任务的话，可以这么分：

• 任务1：1-500（50万行）
• 任务2：501-1000（50万行）
• 任务3：1001-20000（20万行）
• 任务4：20001-30000（10万行）→ 要是觉得差距大，还可以把后续的区间加进来，灵活调整

方法三：结合导出工具自动拆分 #

如果用mydumper这类专业导出工具，它本身支持智能并行拆分：

• 加参数--split-by id --rows 100000，工具会自动按id列拆分，每个文件处理10万行，并行导出时每个进程的工作量均匀
• 要是用mysqldump，可以写个简单脚本循环调用，结合前面SQL生成的拆分范围：

# 假设拆分范围存在split_ranges.txt，每行格式是min,max
while read min max; do
  mysqldump -u your_user -p your_db your_table --where="id >= $min AND id <= $max" > part_${min}_${max}.sql &
done < split_ranges.txt
wait

最后验证拆分效果 #

拆分完别着急跑导出，先验证每个分片的行数差距：

-- 替换成你的实际拆分范围
SELECT 
  CASE 
    WHEN id BETWEEN 1 AND 500 THEN 'bucket1'
    WHEN id BETWEEN 501 AND 1000 THEN 'bucket2'
    WHEN id BETWEEN 1001 AND 20000 THEN 'bucket3'
    WHEN id BETWEEN 20001 AND 30000 THEN 'bucket4'
  END AS bucket,
  COUNT(*) AS row_count
FROM your_table
GROUP BY bucket
ORDER BY bucket;

如果各分片行数差距在10%以内，就属于比较理想的均匀分布了，并行导出的效率能最大化。

内容的提问来源于stack exchange，提问作者EldadT