如何将超大.table.sql表脚本文件拆分至多个文件？

一、按文件大小快速拆分（适合无特殊结构要求的场景） #

这种方法简单高效，能快速拆分文件，缺点是可能截断SQL语句，合并后需要检查完整性。

Linux/macOS 用split命令 #

直接通过系统自带工具按指定大小拆分：

# 拆分每个文件为100MB，前缀为split_part_
split -b 100M large_table.sql split_part_

拆分后会生成split_part_aa、split_part_ab等序列文件。

合并时只需拼接所有文件：

cat split_part_* > merged_table.sql

Windows 用PowerShell拆分 #

按行数拆分：

# 每10000行生成一个拆分文件
Get-Content large_table.sql -ReadCount 10000 | ForEach-Object -Begin { $i=1 } -Process { $_ | Out-File "split_part_$i.sql"; $i++ }

按文件大小拆分（避免截断整行）：

$sourceFile = "large_table.sql"
$maxSize = 100MB  # 可自行调整大小
$fileCounter = 1
$currentContent = @()
$currentSize = 0

Get-Content $sourceFile -Encoding UTF8 | ForEach-Object {
    $lineSize = [System.Text.Encoding]::UTF8.GetByteCount($_ + "`r`n")
    if ($currentSize + $lineSize -gt $maxSize -and $currentContent.Count -gt 0) {
        $currentContent | Out-File "split_part_$fileCounter.sql" -Encoding UTF8
        $fileCounter++
        $currentContent = @()
        $currentSize = 0
    }
    $currentContent += $_
    $currentSize += $lineSize
}

# 写入剩余内容
if ($currentContent.Count -gt 0) {
    $currentContent | Out-File "split_part_$fileCounter.sql" -Encoding UTF8
}

合并时用命令行拼接：

copy /b split_part_*.sql merged_table.sql

二、按SQL语句拆分（安全不破坏结构） #

如果SQL文件包含大量INSERT或其他完整语句，按语句拆分能保证每个文件的SQL都可独立执行，避免合并后出错。下面是一个简单的Python脚本实现：

input_sql = "large_table.sql"
output_prefix = "sql_part_"
statements_per_file = 100  # 每100条语句生成一个文件

with open(input_sql, 'r', encoding='utf-8') as infile:
    current_file_num = 1
    current_statements = []
    stmt_count = 0

    for line in infile:
        current_statements.append(line)
        # 识别SQL语句结束符（若用GO作为分隔符可自行替换）
        if line.strip().endswith(';'):
            stmt_count += 1
            if stmt_count % statements_per_file == 0:
                with open(f"{output_prefix}{current_file_num}.sql", 'w', encoding='utf-8') as outfile:
                    outfile.writelines(current_statements)
                current_statements = []
                current_file_num += 1
    # 处理最后一批剩余语句
    if current_statements:
        with open(f"{output_prefix}{current_file_num}.sql", 'w', encoding='utf-8') as outfile:
            outfile.writelines(current_statements)

注意事项 #

• 拆分前务必备份原文件，防止操作失误导致数据丢失
• 如果原SQL文件使用非UTF-8编码（如GBK），需要在脚本或命令中指定对应编码，避免乱码
• 若SQL包含大字段（如BLOB），字段内容可能包含;，此时需要调整脚本的语句识别逻辑，比如匹配INSERT INTO开头的完整语句

内容的提问来源于stack exchange，提问作者Francisco Ariztizabal