咨询：Sequel批量更新MariaDB表过慢，是否为ORM或网络问题？

首先，咱们拆解下你遇到的慢的核心原因：

• 单条操作的网络往返开销：你当前的代码每次循环都会执行find_or_create（1次SELECT查询）+save（1次INSERT/UPDATE操作），7000条数据就是至少14000次SQL请求。如果应用和数据库不在同一网络，每次请求的网络延迟会被放大，这就是网络类型影响速度的核心——延迟越高，总耗时越夸张。
• 无事务包裹的额外开销：如果没给批量操作加事务，每次save都会触发一次事务提交，又多了一层网络往返的耗时。

接下来，咱们在保留Sequel对象式操作体验的前提下，给出针对性优化方案：

1. 批量预查询，减少重复SELECT请求 #

先一次性查询出所有已存在的城市，把7000次find_or_create的SELECT操作压缩成1次，再拆分新增和更新逻辑：

def upload_airports_mariadb(airport_records)
  # 第一步：收集所有待处理城市，批量查询已存在的记录
  all_cities = airport_records.map { |rec| rec[:City] }
  existing_cities = Airport.where(City: all_cities).select_map(:City).to_set

  # 拆分数据：新增机场数据 vs 需要更新的机场数据
  new_records = airport_records.reject { |rec| existing_cities.include?(rec[:City]) }
  update_records = airport_records.select { |rec| existing_cities.include?(rec[:City]) }

  # 批量插入新数据（Sequel原生支持，比循环插入快N倍）
  Airport.multi_insert(new_records) unless new_records.empty?

  # 批量更新已存在的记录：先一次性加载所有对象，再在事务里批量保存
  DB.transaction do
    # 一次性查询所有需要更新的对象，按City索引方便快速查找
    existing_airports = Airport.where(City: update_records.map { |rec| rec[:City] }).all.index_by(&:City)

    update_records.each do |rec|
      airport = existing_airports[rec[:City]]
      airport.AirportID = rec[:AirportID]
      airport.TimeZone = rec[:TimeZone]
      # 如果数据来源可信，关闭验证能进一步提速
      airport.save(validate: false)
    end
  end
end

2. 确保连接复用（保持连接开启） #

Sequel默认会用连接池管理数据库连接，默认大小是5，只要你不在循环里重复初始化连接（比如每次循环都调用Sequel.connect），连接会被自动复用，不会频繁创建销毁。

检查你的代码：确保DB连接在程序启动时初始化一次，批量处理时直接复用：

# 程序启动时执行一次，全局复用
DB = Sequel.connect('mysql2://user:pass@host/dbname')

# 批量处理函数里直接用已有的DB连接
def upload_airports_mariadb(...)
  # ... 你的业务逻辑，无需再初始化连接
end

如果需要调整连接池大小，可在连接时指定：

DB = Sequel.connect('mysql2://user:pass@host/dbname', max_connections: 10)

3. 其他可选优化点 #

• 关闭不必要的模型验证：如果批量数据来自可靠数据源，在save时加上validate: false，跳过模型验证逻辑，减少对象处理开销。
• 原生批量更新（牺牲少量对象式体验换速度）：如果不需要操作对象，直接用Sequel的批量更新语法，性能会更优：

DB.transaction do
  update_records.each do |rec|
    Airport.where(City: rec[:City]).update(AirportID: rec[:AirportID], TimeZone: rec[:TimeZone])
  end
end

这种方式无需加载对象，直接生成UPDATE语句，速度更快，但会失去对象操作的便利性。

• 确认数据库索引：你已经把City设为主键，这没问题；如果后续有其他查询条件，记得给对应字段加索引，避免全表拖慢查询速度。

为什么单次正常、批量慢？ #

单次操作时，1-2次SQL请求的网络往返开销可以忽略，但批量7000次时，每次请求的延迟会累加。比如网络延迟是50ms，7000次SELECT+7000次INSERT/UPDATE就是7000250ms≈11.7分钟，再加上数据库处理、事务提交的开销，很容易达到40分钟。而批量操作把这些请求压缩到几次，总耗时会大幅降低。

内容的提问来源于stack exchange，提问作者bachmarc