CSV与数据库数据同步性能优化求助：十万级数据匹配过慢

1. 批量查询现有记录，减少数据库IO次数 #

不要逐条调用find_or_initialize_by触发单条查询，而是先提取CSV中所有待同步的邮政编码，一次性查询数据库中已存在的记录，再在内存中做比对：

# 提取CSV里的所有邮编（去重减少查询量）
csv_postcodes = csv_rows.map { |row| row[:postcode] }.uniq
# 批量查询数据库中已存在的邮编，转成Set（O(1)查询效率）
existing_postcodes = Postcode.where(postcode: csv_postcodes).pluck(:postcode).to_set

# 遍历CSV数据时直接在内存判断
csv_rows.each do |row|
  if existing_postcodes.include?(row[:postcode])
    # 处理更新逻辑
  else
    # 处理新增逻辑
  end
end

这种方式把数据库查询从10万+次降到1次，大幅减少IO开销。

2. 利用数据库原生批量冲突处理语法 #

直接让数据库负责存在性判断和处理，跳过应用层的逐条检查，这是效率最高的方案之一：

• MySQL：使用INSERT ... ON DUPLICATE KEY UPDATE
• PostgreSQL：使用INSERT ... ON CONFLICT DO NOTHING/UPDATE

以Rails为例，配合activerecord-import gem实现批量导入：

# 先把CSV数据转换成模型实例数组
records = csv_rows.map { |row| Postcode.new(row) }
# 批量导入，存在则更新指定字段，不存在则新增
Postcode.import(records, on_duplicate_key_update: [:updated_at, :other_field])
# 或者只新增不存在的记录
Postcode.import(records, on_conflict: :do_nothing)

数据库层面的批量操作比应用层循环处理快几个数量级。

3. 确保邮政编码字段有唯一索引 #

不管用哪种方案，给邮政编码字段加唯一索引是基础优化：

-- MySQL/PostgreSQL通用
CREATE UNIQUE INDEX idx_postcodes_postcode ON postcodes(postcode);

索引会让数据库的存在性查询、冲突判断速度大幅提升，避免全表扫描。

4. 分批次处理超大CSV数据 #

如果CSV数据量超过百万级，一次性加载到内存可能导致OOM，分批次处理（比如每1000条一批）：

csv_rows.each_slice(1000) do |batch|
  batch_postcodes = batch.map { |row| row[:postcode] }.uniq
  existing = Postcode.where(postcode: batch_postcodes).pluck(:postcode).to_set
  
  # 筛选出需要新增的记录
  new_records = batch.reject { |row| existing.include?(row[:postcode]) }.map { |row| Postcode.new(row) }
  Postcode.import(new_records)
end

平衡内存占用和处理效率。

5. 优化内存比对的效率 #

之前用缓存全量记录后select比对慢，核心原因是数组的select是O(n)时间复杂度，换成Set的include?（O(1)）就能解决：

# 错误做法：数组include?，O(n)查询
existing_postcodes = Postcode.pluck(:postcode)
csv_rows.select { |row| existing_postcodes.include?(row[:postcode]) }

# 正确做法：转成Set，O(1)查询
existing_postcodes_set = Postcode.pluck(:postcode).to_set
csv_rows.select { |row| existing_postcodes_set.include?(row[:postcode]) }

10万条数据下，Set的比对速度会比数组快几十倍。

内容的提问来源于stack exchange，提问作者kb714