Rails查询优化：解决N+1查询及.includes使用困惑

问题根源分析 #

你遇到的核心问题是N+1查询陷阱：原代码里existing_data = Page.all返回的是ActiveRecord::Relation对象，并非直接把所有记录加载到内存。当你在循环里调用find_by(symbol: key)时，每次都会向数据库发起独立的SELECT查询——这就是为什么你以为数据已加载，但实际还是频繁触发数据库请求。

另外你误用了.includes：这个方法是用来预加载关联模型的（比如Page关联了User，用includes(:user)可以一次性加载所有关联的用户记录），而不是用来指定模型自身的字段，所以传入:id、:symbol会触发“关联不存在”的错误。

最优解决方案：内存哈希映射 #

我们可以先一次性查询所有需要的记录，将其转换为以symbol为键的哈希，这样循环时直接在内存中查找，彻底避免N+1查询：

# If non-existent, create. Otherwise, update.
# 一次性查询所有Page记录，按symbol生成哈希映射（仅1次SQL查询）
existing_records_map = Page.select(:id, :symbol).index_by(&:symbol)
updated_data = {}
new_records = []

@latest_page_data.each do |key, value|
  existing_record = existing_records_map[key]
  if existing_record
    updated_data[existing_record.id] = value
  else
    new_records << Page.new(value)
  end
end

# 批量创建/更新（保持原业务逻辑）
Page.import new_records unless new_records.empty?
Page.update(updated_data.keys, updated_data.values) unless updated_data.empty?

关键细节说明 #

1. index_by(&:symbol)：这个方法会把ActiveRecord集合转换为哈希，键是指定的属性值（这里是symbol），值是对应的记录对象。循环时existing_records_map[key]是O(1)的内存查找，完全不会触发新的数据库查询。
2. select(:id, :symbol)：如果Page表字段很多，加上这个可以只加载需要的字段，大幅降低内存占用（毕竟我们只需要id和symbol来匹配和更新）。
3. 为什么不用数组find？如果把existing_data转成数组（Page.all.to_a）再用find { |r| r.symbol == key }，虽然也能在内存查找，但数组查找是O(n)复杂度，哈希映射是O(1)，数据量大时性能差距会非常明显。

额外优化建议 #

如果你的Page表数据量极大，一次性加载所有记录到内存可能有压力，可以考虑分批处理：

# 分批查询并处理，避免一次性加载过多数据
Page.select(:id, :symbol).find_in_batches do |batch|
  batch_map = batch.index_by(&:symbol)
  # 这里处理当前批次的匹配逻辑，和上面的循环逻辑一致
end

内容的提问来源于stack exchange，提问作者LewlSauce