Oracle转MySQL导入遇(42000)行大小过大错误的解决求助

问题根源 #

你遇到的错误是MySQL的硬限制导致的：非BLOB/TEXT类型的列总字节数不能超过65535。你的表中多个VARCHAR(4000)列在utf8字符集下，每个最多占12000字节（4000*3），6个这样的列总大小就超过了65535阈值，所以创建表时触发错误。之前尝试的调整日志大小、切换存储引擎、关闭严格模式都绕不开这个限制，因为这是MySQL对行内存储列的硬性规定。

具体解决办法 #

1. 将超长VARCHAR列转为TEXT类型

TEXT类型的数据会存储在行外，不计入65535的行大小限制，这是最直接的解决方式。修改你的建表语句，把那些VARCHAR(4000)的列替换成TEXT即可：

DROP TABLE IF EXISTS `F_TABLE_EXAMPLE`;
CREATE TABLE `F_TABLE_EXAMPLE` (
  `COL_1` BIGINT,
  `COL_2` VARCHAR(10) CHARACTER SET utf8,
  `COL_3` BIGINT,
  `COL_4` BIGINT,
  `COL_5` DECIMAL(16,2),
  `COL_6` DECIMAL(16,2),
  `COL_7` VARCHAR(5) CHARACTER SET utf8,
  `COL_8` DATETIME,
  `COL_9` VARCHAR(50) CHARACTER SET utf8,
  `COL_10` TEXT CHARACTER SET utf8,
  `COL_11` TEXT CHARACTER SET utf8,
  `COL_12` TEXT CHARACTER SET utf8,
  `COL_13` TEXT CHARACTER SET utf8,
  `COL_14` TEXT CHARACTER SET utf8,
  `COL_15` TEXT CHARACTER SET utf8
) ENGINE=InnoDB;

如果dump文件太大，手动修改麻烦，可以用命令批量替换：

sed -i 's/VARCHAR(4000) CHARACTER SET utf8/TEXT CHARACTER SET utf8/g' your_dump_file.sql

注意：操作前一定要备份原dump文件。

2. 拆分表结构

如果必须保留VARCHAR类型，可以把超出大小限制的列拆分到关联表中，用主表的主键作为外键关联。比如：

• 主表（存储核心字段）：

DROP TABLE IF EXISTS `F_TABLE_EXAMPLE`;
CREATE TABLE `F_TABLE_EXAMPLE` (
  `COL_1` BIGINT PRIMARY KEY,
  `COL_2` VARCHAR(10) CHARACTER SET utf8,
  `COL_3` BIGINT,
  `COL_4` BIGINT,
  `COL_5` DECIMAL(16,2),
  `COL_6` DECIMAL(16,2),
  `COL_7` VARCHAR(5) CHARACTER SET utf8,
  `COL_8` DATETIME,
  `COL_9` VARCHAR(50) CHARACTER SET utf8
) ENGINE=InnoDB;

• 扩展表（存储超长字段）：

DROP TABLE IF EXISTS `F_TABLE_EXAMPLE_EXT`;
CREATE TABLE `F_TABLE_EXAMPLE_EXT` (
  `COL_1` BIGINT PRIMARY KEY,
  `COL_10` VARCHAR(4000) CHARACTER SET utf8,
  `COL_11` VARCHAR(4000) CHARACTER SET utf8,
  `COL_12` VARCHAR(4000) CHARACTER SET utf8,
  `COL_13` VARCHAR(4000) CHARACTER SET utf8,
  `COL_14` VARCHAR(4000) CHARACTER SET utf8,
  `COL_15` VARCHAR(4000) CHARACTER SET utf8,
  FOREIGN KEY (`COL_1`) REFERENCES `F_TABLE_EXAMPLE`(`COL_1`)
) ENGINE=InnoDB;

这种方式需要同时修改dump文件中的表结构和数据插入语句，把对应字段的数据拆分到扩展表中，适合对字段类型有严格要求的场景。

3. 调整列长度（如果业务允许）

如果这些超长VARCHAR列实际存储的内容远小于4000字符，可以适当缩短长度，比如改成VARCHAR(2000)，这样总字节数就能控制在65535以内。但这个方法依赖业务场景，需要确认数据不会被截断。

为什么之前的尝试无效 #

• 增大innodb_log_file_size：这个参数是调整InnoDB事务日志的大小，解决的是大事务日志不足的问题，和行大小限制无关。
• 关闭严格模式：严格模式控制的是数据插入时的校验规则，无法绕过行大小的硬限制。
• 切换到MyISAM：MyISAM同样有65535的行大小限制，只是存储实现不同，依然会触发错误。
• 使用-f参数：这个参数只是忽略错误继续执行，但表创建失败后，后续的数据插入语句都会报错，导致卡顿。

内容的提问来源于stack exchange，提问作者Alan