Rails中activerecord-import搭配唯一键失效问题求解

问题根源 #

1. 数据库层面无唯一约束：现有Schema仅对name字段创建了普通索引，未添加unique: true的唯一约束，导致数据库允许重复name值插入，on_duplicate_key_update因无重复键冲突触发而失效。
2. 应用层验证局限性：模型的validates :name, uniqueness: true是应用级验证，批量导入时默认跳过部分验证逻辑，且即使开启验证，也无法阻止数据库端的重复插入——验证仅在对象初始化时执行，无法覆盖数据库约束缺失的问题。

解决方案 #

1. 补全数据库唯一约束

这是实现去重批量插入的核心前提，修改数据库Schema给name字段添加唯一约束：

# 新建表时直接配置
create_table 'users',
             force: :cascade,
             charset: 'utf8mb4',
             collation: 'utf8mb4_0900_ai_ci' do |t|
  t.string 'name', unique: true # 新增唯一约束
  t.timestamps
end

# 若表已存在，执行迁移添加唯一索引
# add_index :users, :name, unique: true

2. 调整批量导入代码

根据业务需求选择两种批量处理策略：

策略一：重复时更新记录

遇到重复name时，更新对应字段（可扩展其他需要更新的字段）：

names = ['a','b','c','d']
users = names.map { |name| User.new(name: name) }

User.import(
  users,
  on_duplicate_key_update: [:name],
  validate: true # 可选：开启应用层验证，与数据库约束双重保障
)

策略二：重复时跳过插入

若无需更新，仅需跳过重复记录，使用ignore: true替代更新逻辑：

names = ['a','b','c','d']
users = names.map { |name| User.new(name: name) }

User.import(
  users,
  ignore: true,
  validate: true
)

性能说明 #

以上方案基于数据库原生唯一约束与批量操作实现，避免了应用层循环查询带来的性能损耗，单次批量请求即可完成所有数据的插入/更新/跳过操作，性能最优。

内容的提问来源于stack exchange，提问作者52zxc