从SQL Server迁移至MariaDB：Nvarchar(Max)转Varchar(3000)脚本优化咨询

我正在用MySQL Workbench把数据从MS SQL Server迁移到MariaDB，碰到了nvarchar(max)和MariaDB不兼容的问题，打算用脚本把它替换成varchar(3000)。我写了下面这个Python脚本，但不确定有没有更好的实现方式：

import re

input_file = 'MSSQLSERVER.sql'
output_file = 'MYSQL.sql'

with open(input_file, 'r', encoding='utf-16') as f:
    content = f.read()

content = re.sub(r'\[?nvarchar\]?\s*\(\s*max\s*\)', 'varchar(3000)', content, flags=re.IGNORECASE)

with open(output_file, 'w', encoding='utf-8') as f:
    f.write(content)

# python ReplaceNavcharMax.py

现有脚本的合理性 #

你的脚本思路没问题：用正则匹配各种格式的nvarchar(max)（包括带方括号、大小写不敏感、括号前后有空格的情况），替换为varchar(3000)，文件读写的编码处理也考虑到了MS SQL导出脚本常用的utf-16，这部分做得很到位。

可以优化的几个方向 #

• 逐行处理大文件：如果SQL脚本体积特别大（比如几十上百GB），一次性读入内存会占用过多资源。改成逐行读取、替换、写入更高效：

  import re
  
  input_file = 'MSSQLSERVER.sql'
  output_file = 'MYSQL.sql'
  pattern = re.compile(r'\[?nvarchar\]?\s*\(\s*max\s*\)', flags=re.IGNORECASE)
  
  with open(input_file, 'r', encoding='utf-16') as in_f, open(output_file, 'w', encoding='utf-8') as out_f:
      for line in in_f:
          modified_line = pattern.sub('varchar(3000)', line)
          out_f.write(modified_line)
  

• 精准匹配避免误替换：当前正则可能会匹配到注释里的nvarchar(max)，如果不想替换注释内容，可以调整规则跳过--开头的行或/* */包裹的注释块，但这会增加复杂度，需根据脚本实际情况判断是否必要。
• 参数化配置：把要替换的类型、长度、文件路径做成可配置变量，方便后续修改：

  import re
  
  # 可配置参数
  INPUT_FILE = 'MSSQLSERVER.sql'
  OUTPUT_FILE = 'MYSQL.sql'
  SOURCE_PATTERN = r'\[?nvarchar\]?\s*\(\s*max\s*\)'
  TARGET_TYPE = 'varchar(3000)'
  INPUT_ENCODING = 'utf-16'
  OUTPUT_ENCODING = 'utf-8'
  
  pattern = re.compile(SOURCE_PATTERN, flags=re.IGNORECASE)
  
  with open(INPUT_FILE, 'r', encoding=INPUT_ENCODING) as in_f, open(OUTPUT_FILE, 'w', encoding=OUTPUT_ENCODING) as out_f:
      for line in in_f:
          out_f.write(pattern.sub(TARGET_TYPE, line))
  

• 验证替换结果：添加统计替换次数的逻辑，确保替换符合预期：

  import re
  
  input_file = 'MSSQLSERVER.sql'
  output_file = 'MYSQL.sql'
  pattern = re.compile(r'\[?nvarchar\]?\s*\(\s*max\s*\)', flags=re.IGNORECASE)
  
  replace_count = 0
  with open(input_file, 'r', encoding='utf-16') as in_f, open(output_file, 'w', encoding='utf-8') as out_f:
      for line in in_f:
          modified_line, count = pattern.subn('varchar(3000)', line)
          replace_count += count
          out_f.write(modified_line)
  
  print(f"共完成 {replace_count} 处替换")
  

额外提醒 #

MariaDB的varchar默认最大长度为65535字节（utf8mb4编码下实际字符数更少），varchar(3000)完全合法。如果原数据存在超过3000字符的内容，可考虑用text类型替代，但需注意text与varchar在索引、查询性能上的差异。

内容的提问来源于stack exchange，提问作者Nain9