无自增主键的超大MySQL表上传BigQuery的查询性能优化

针对你用LIMIT + OFFSET分块导出8.5亿条数据时速度随偏移量飙升的问题，核心原因是OFFSET需要扫描并跳过前面所有行，偏移量越大，MySQL需要处理的数据量越多。以下是几种高效的优化方案：

1. 基于唯一键的范围分页（最优） #

你的表有UNIQUE KEY (user_id, value_id)，可以利用这个组合索引实现快速分块，每次查询直接定位到上一块的结束位置，避免全表扫描：

操作步骤： #

• 第一块导出：

SELECT * INTO OUTFILE 'my_huge_table_part_0.bulk'
FROM `my_huge_table`
ORDER BY user_id, value_id
LIMIT 10000000;

• 查询并记录第一块最后一行的user_id和value_id（比如last_user_id=10000, last_value_id=50000）
• 后续分块导出，用范围条件定位起始点：

SELECT * INTO OUTFILE 'my_huge_table_part_1.bulk'
FROM `my_huge_table`
WHERE (user_id > last_user_id) OR (user_id = last_user_id AND value_id > last_value_id)
ORDER BY user_id, value_id
LIMIT 10000000;

• 重复上述步骤，直到查询返回的行数不足10000000，说明数据导出完成。

这种方式每次查询都通过唯一索引快速定位，耗时会保持稳定，不会随分块次数增加而变慢。

2. 使用mysqldump自动分块导出（简便高效） #

利用mysqldump的内置分块功能，它会自动基于主键优化查询逻辑，避免OFFSET的性能问题：

按行数分块（MySQL 8.0+支持）： #

mysqldump -u 用户名 -p 数据库名 my_huge_table --single-transaction --chunk-size=10000000 --result-file=my_huge_table_part_

该命令会生成多个以my_huge_table_part_为前缀的文件，每个文件包含1000万条数据，且自动处理分块逻辑。

兼容旧版本的分块方式： #

如果使用MySQL 5.x，可以手动指定范围条件分块导出，结合脚本循环执行：

mysqldump -u 用户名 -p 数据库名 my_huge_table --single-transaction --no-create-info --where="(user_id, value_id) <= (X, Y)" --result-file=my_huge_table_part_0.sql

每次更新(X, Y)为上一块的最后一组user_id和value_id即可。

3. 整表导出后拆分文件（适合磁盘充足的场景） #

如果服务器有足够磁盘空间（需要约60GB，对应表的DATA_LENGTH），可以先一次性导出整表，再用系统工具拆分：

• 导出整表：

SELECT * INTO OUTFILE 'my_huge_table_full.bulk' FROM `my_huge_table`;

• 用split命令拆分（Linux/macOS），每个文件3.5GB（小于BigQuery的4GB限制）：

split -b 3.5G my_huge_table_full.bulk my_huge_table_part_

这种方式只需要一次导出操作，避免多次查询的开销，拆分速度极快。

额外优化细节 #

• 导出时始终加上ORDER BY，确保数据有序，同时利用索引加速排序。
• 开启事务（START TRANSACTION;）或使用--single-transaction参数，保证导出数据的一致性，避免导出过程中数据被修改。
• 临时调整MySQL参数：适当增大read_buffer_size、sort_buffer_size（不要超过服务器内存上限），提升大查询的读取和排序性能。

内容的提问来源于stack exchange，提问作者Eugene Chaban