如何从5GB的SQL转储文件中仅导入表结构及少量数据？

嘿，这个需求太常见了——不管是搭测试环境、快速预览数据库结构，还是减少导入时间，只保留核心结构和少量数据都非常实用。下面给你几个靠谱的方案，分「直接处理现有转储文件」和「从源数据库重新导出（更推荐）」两类，按需选择：

一、直接处理已有的5GB SQL转储文件 #

如果没法连接到源数据库，只能处理现有转储，用命令行工具就能高效完成，不用打开庞大的文件：

1. 提取表结构（含必要配置） #

先把转储开头的配置语句（比如SET、USE、DROP TABLE）和所有表结构（CREATE TABLE、索引、视图等）提取出来：

# 提取开头的配置到header.sql
sed -n '1,/^CREATE TABLE/p' your_dump.sql | grep -v "^CREATE TABLE" > header.sql

# 提取所有表结构（包括CREATE TABLE、INDEX、VIEW等）
grep -E "^CREATE (TABLE|INDEX|VIEW|FUNCTION|PROCEDURE)" your_dump.sql > schema.sql

2. 提取每个表的前5-10条数据 #

用awk按表分组，只保留每个表的前N条INSERT语句：

awk '
/^INSERT INTO/ {
    # 提取表名（去掉INSERT INTO后的括号）
    table = substr($3, 1, length($3)-1)
    # 只保留前10条，可改成5
    if (count[table] < 10) {
        print $0
        count[table]++
    }
}
' your_dump.sql > sample_data.sql

3. 合并成精简版转储 #

把三个文件合并，得到可以直接导入的精简转储：

cat header.sql schema.sql sample_data.sql > trimmed_dump.sql

二、从源数据库重新导出（更可靠） #

如果能连接到源数据库，直接导出结构+少量数据是最稳妥的方式，避免处理大文件的麻烦：

MySQL/MariaDB 方案 #

导出表结构

mysqldump -u 你的用户名 -p --no-data 你的数据库名 > schema.sql

导出每个表的前10条数据

用循环遍历所有表，逐个导出限定行数的数据：

# 先获取所有表名，循环导出
for table in $(mysql -u 你的用户名 -p -N -e "SHOW TABLES FROM 你的数据库名"); do
    mysqldump -u 你的用户名 -p 你的数据库名 $table --where="1 LIMIT 10" >> sample_data.sql
done

合并导入

把结构和数据文件合并后导入，或者分开导入：

# 先导入结构
mysql -u 你的用户名 -p 你的数据库名 < schema.sql
# 再导入样本数据
mysql -u 你的用户名 -p 你的数据库名 < sample_data.sql

PostgreSQL 方案 #

导出表结构

pg_dump -U 你的用户名 --schema-only 你的数据库名 > schema.sql

导出每个表的前10条数据

循环遍历所有表，用pg_dump带--where参数导出限定数据：

# 获取所有用户表（排除系统表）
psql -U 你的用户名 -d 你的数据库名 -c "\dt" | awk '{print $3}' | grep -v -E "(List|Name|pg_)" | while read table; do
    pg_dump -U 你的用户名 --data-only --table="$table" --where="true LIMIT 10" 你的数据库名 >> sample_data.sql
done

合并导入

# 导入结构
psql -U 你的用户名 -d 你的数据库名 < schema.sql
# 导入样本数据
psql -U 你的用户名 -d 你的数据库名 < sample_data.sql

三、直接导入时过滤（无需生成中间文件） #

如果不想生成精简转储文件，也可以在导入时直接过滤内容，适合超大文件：

MySQL 示例 #

cat your_dump.sql | awk '
# 保留表结构语句
/^CREATE TABLE/ {print; next}
# 保留必要的配置语句（SET、USE、DROP等）
/^(SET|USE|DROP|ALTER)/ {print; next}
# 只保留每个表的前10条INSERT
/^INSERT INTO/ {
    table = substr($3, 1, length($3)-1)
    if (count[table] < 10) {print; count[table]++}
    next
}
' | mysql -u 你的用户名 -p 你的数据库名

注意事项 #

• 如果转储包含事务语句（BEGIN/COMMIT），可以在过滤时保留这些语句，确保数据一致性；
• 导入样本数据后，自增ID序列可能会和原数据库不一致，测试环境一般无需在意，若需要重置可手动执行ALTER TABLE 表名 AUTO_INCREMENT = 1;（MySQL）或ALTER SEQUENCE 序列名 RESTART WITH 1;（PostgreSQL）；
• 对于存储过程、触发器等对象，记得在提取结构时包含对应的CREATE语句。

内容的提问来源于stack exchange，提问作者Peter Klambotskii