Ruby Sequel eager查询引发加载性能问题，求优化方案

针对百万级数据下Album.eager(:artists, :genre).all出现的大批次关联查询问题，以下是几种可实现相同输出的优化方案：

1. 使用eager_graph替代eager（单次JOIN查询） #

eager_graph通过SQL JOIN直接将关联表与主表合并查询，避免先查主表再批量查关联表的两次查询模式，从根源上解决大IN子句的问题。Sequel会自动处理JOIN后的重复数据，生成正确的对象关联：

Album.eager_graph(:artists, :genre).all

注意：如果关联表存在一对多关系，JOIN后的结果集会有重复的主表数据，但Sequel会自动去重并构建正确的对象结构，无需额外处理。

2. 分批次处理数据 #

利用Sequel的find_each或find_in_batches方法，将百万级数据拆分为小批次（比如1000条/批）处理，每次批次的关联查询仅针对当前批次的ID，避免生成超大IN子句：

# 按批次遍历处理每个Album对象
Album.eager(:artists, :genre).find_each(batch_size: 1000) do |album|
  # 业务逻辑处理
end

# 或直接获取批次集合
Album.eager(:artists, :genre).find_in_batches(batch_size: 1000) do |album_batch|
  album_batch.each { |album| /* 处理逻辑 */ }
end

3. 限制关联查询的批量大小 #

通过设置batch_size参数，让Sequel将大批次的关联查询拆分为多个小批量查询，避免单次IN子句包含过多ID：

Album.eager(
  artists: { batch_size: 1000 },
  genre: { batch_size: 1000 }
).all

该方案会将原本一次查询几百万个artist_id的请求，拆分为每次查询1000个ID的多次小请求，降低数据库解析压力。

4. 预加载仅需字段，减少数据传输 #

如果不需要关联表的全部字段，可指定预加载的字段列表，减少查询的数据量和内存占用：

Album.eager(
  artists: Artist.select(:id, :name), # 仅加载artists的id和name字段
  genre: Genre.select(:id, :name)     # 仅加载genre的id和name字段
).all

内容的提问来源于stack exchange，提问作者user3576036