ActiveRecord Model.import批量插入MySQL记录失败的问题排查与解决

针对你遇到的20万条记录插入报错、12万条成功的情况，除了拆分小批次，还有这些可行方向：

• 排查数据中的Hash类型值
  报错TypeError: can't quote Hash的核心原因是ActiveRecord尝试将Hash类型的值直接存入数据库字段，但该字段未配置序列化（比如serialize :field_name, Hash）。你需要遍历待插入的数据集，检查是否存在某个字段意外传入了Hash值——可能是数据构造时的逻辑错误，比如把嵌套结构直接赋值给了普通字符串/数值字段。如果是序列化字段，确认导入时是否正确处理了序列化逻辑（老旧版本的Rails在批量导入时可能不会自动序列化Hash）。

• 优化ActiveRecord import的调用方式

  1. 用纯数组而非ActiveRecord对象导入：避免实例化20万条Model对象带来的内存开销，改用Model.import([:col1, :col2, :col3], data_rows)的格式，其中data_rows是二维数组，每元素对应一行记录的字段值。
  2. 关闭验证与回调：添加validate: false和timestamps: false参数（如果不需要自动维护created_at/updated_at），减少导入时的额外处理：

     Model.import(records, validate: false, timestamps: false, batch_size: 50000)
     

     这里的batch_size让gem自动拆分批次，比手动拆分更稳妥，适配你的老旧版本需要确认activerecord-import gem版本支持（建议用适配Rails5.0的~> 0.20.0版本）。

• 调整数据库与Ruby环境参数

  1. 增大MySQL的max_allowed_packet：MySQL5.1默认的数据包大小可能不足以承载超大批次的插入语句，执行以下命令临时调整（重启数据库后需重新设置，或修改my.cnf永久生效）：

     SET GLOBAL max_allowed_packet = 67108864; -- 设置为64M
     

  2. 手动触发GC：在导入前执行GC.start，释放闲置内存，避免老旧Ruby版本的内存泄漏导致的隐式错误。

• 适配老旧版本的gem降级
  如果当前使用的activerecord-import版本较新，可能与Rails5.0.3存在兼容性问题，尝试降级到gem的稳定旧版本，比如在Gemfile中指定：

  gem 'activerecord-import', '~> 0.20.0'
  

  执行bundle install后再测试导入。

内容的提问来源于stack exchange，提问作者soLegacy