优化Rails查询：找出存在重复字段组合的记录

需求背景 #

需要查找所有first_name和last_name完全重复的用户（对应原需求中inviter_id和invitee_id重复的邀请记录，已做通用化处理）。原Rails脚本在开发环境小数据量下正常，但生产环境数据量过大时无法执行，原代码如下：

matches = []

User.all.each_with_index do |user1, index|
    start = index + 1
    User.all[start..-1].each do |user2|
        if (user1.first_name == user2.first_name) && (user1.last_name == user2.last_name)
            matches << user2
        end
    end
end

原代码问题分析 #

原方案的核心问题是内存占用过高+时间复杂度爆炸：

• User.all会把全表数据加载到Ruby内存中，数据量上万时直接耗尽内存；
• 两层循环做两两比对，时间复杂度为O(n²)，数据量越大，执行时间呈指数级增长。

高效实现方案 #

方案1：ActiveRecord分组查询（推荐，符合Rails风格） #

把重复判断逻辑交给数据库处理，利用数据库的分组聚合能力，仅需两次查询即可完成：

# 先找出所有存在重复的姓名组合
duplicate_name_pairs = User.group(:first_name, :last_name)
                           .having("COUNT(*) > 1")
                           .pluck(:first_name, :last_name)

# 根据这些组合查询所有重复用户
duplicate_users = User.where([:first_name, :last_name] => duplicate_name_pairs)

或者更简洁的链式写法：

duplicate_users = User.where(
  [:first_name, :last_name] => User.group(:first_name, :last_name).having("COUNT(*) > 1").pluck(:first_name, :last_name)
)

方案2：原生SQL查询（适合复杂场景） #

如果需要更精细的控制，可以直接写原生SQL，逻辑和方案1一致，但灵活性更高：

duplicate_users = User.find_by_sql(<<-SQL)
  SELECT u.*
  FROM users u
  INNER JOIN (
    SELECT first_name, last_name
    FROM users
    GROUP BY first_name, last_name
    HAVING COUNT(*) > 1
  ) AS duplicate_groups 
  ON u.first_name = duplicate_groups.first_name 
  AND u.last_name = duplicate_groups.last_name
SQL

超大数据量附加优化 #

如果生产环境数据量达到百万级以上，还可以做以下优化：

• 添加联合索引：执行rails generate migration AddIndexToUsersName，然后在迁移文件中添加：

  add_index :users, [:first_name, :last_name]
  

  索引会大幅提升分组和查询的速度。
• 分批处理：如果不需要一次性加载所有重复用户，使用find_each分批读取，避免内存溢出：

  duplicate_users.find_each(batch_size: 1000) do |user|
    # 处理单个用户逻辑
  end
  

内容的提问来源于stack exchange，提问作者Jeff Zivkovic