从MySQL RDS导出大表数据至QuestDB的问题求助

针对5亿行的大表，无法使用INTO OUTFILE且Workbench内存不足的问题，推荐以下几种高效的命令行导出方案：

1. 使用mysqldump分批导出（推荐） #

利用mysqldump的--where参数按有索引的列（如自增ID、时间戳）分段导出，避免一次性加载全表数据导致内存溢出。

单批次导出命令示例： #

mysqldump -h <你的RDS地址> -u <用户名> -p \
--no-create-info --skip-triggers \
--where="id BETWEEN 1 AND 1000000" \
--fields-terminated-by=',' --fields-enclosed-by='"' --fields-escaped-by='\\' --lines-terminated-by='\n' \
<数据库名> <表名> <列1> <列2> <列3> \
>> output_part_1.csv

批量循环导出（Shell脚本示例） #

如果需要自动分批次导出，可编写简单的Shell脚本：

#!/bin/bash
HOST="your-rds-host"
USER="your-username"
DB="your-db"
TABLE="your-table"
COLS="col1 col2 col3"
BATCH_SIZE=1000000
MAX_ID=500000000  # 替换为表中最大ID值

for ((i=1; i<=MAX_ID; i+=BATCH_SIZE)); do
    END=$((i + BATCH_SIZE - 1))
    if [ $END -gt $MAX_ID ]; then
        END=$MAX_ID
    fi
    echo "导出批次: $i - $END"
    mysqldump -h $HOST -u $USER -p --no-create-info --skip-triggers \
    --where="id BETWEEN $i AND $END" \
    --fields-terminated-by=',' --fields-enclosed-by='"' --fields-escaped-by='\\' --lines-terminated-by='\n' \
    $DB $TABLE $COLS >> output_combined.csv
done

注意：首次导出后，后续批次需跳过表头，可在首次导出时单独包含表头，后续批次添加--skip-column-names参数。

2. 使用mysql客户端直接查询重定向输出 #

通过mysql命令行客户端执行查询，将结果直接写入文件，同样采用分批策略：

单批次命令示例： #

mysql -h <你的RDS地址> -u <用户名> -p --batch --raw --skip-column-names \
-e "SELECT col1, col2, col3 FROM <表名> WHERE id BETWEEN 1 AND 1000000;" \
<数据库名> >> output_part_1.csv

• --batch：确保输出按CSV格式分隔
• --raw：避免转义特殊字符
• --skip-column-names：跳过表头（如需表头，可单独执行一次不带该参数的查询写入文件开头）

3. 优化Workbench导出（应急方案） #

若必须使用Workbench，可尝试以下调整：

• 增大Workbench内存限制：进入Edit > Preferences > SQL Editor，提升"Query Editor"的内存分配
• 手动分段查询：在导出时设置WHERE条件，每次导出100万行以内的数据，多次执行后合并文件

关键注意事项 #

• 务必使用有索引的列作为分段条件（如自增ID、时间戳），避免全表扫描导致RDS性能过载
• 导出期间监控RDS的CPU、IO指标，避开业务高峰时段执行
• 确保导出的CSV格式与QuestDB导入要求匹配（分隔符、引号规则、编码等）

内容的提问来源于stack exchange，提问作者Sam Shiles