Ruby on Rails 百万级实时数据批量入库带日志的优化咨询

优化方案 #

你提到的用Redis做内存缓冲的思路是可行的，结合你的技术栈，以下是可落地的优化方案：

1. 替换本地日志为Redis队列缓冲

原有本地文件写入的问题在于多进程写入容易出现锁冲突、数据覆盖，且磁盘IO性能较低，百万级数据下瓶颈明显。改用Redis的List结构做缓冲的实现如下：

• 第一步：初始化Redis全局连接（放在config/initializers/redis.rb）

$redis = Redis.new(host: '127.0.0.1', port: 6379, db: 1)

• 第二步：修改接口写入逻辑

class InsightsController < ApplicationController
  def log_insight
    # RPUSH是O(1)操作，纯内存写入性能远高于磁盘IO
    $redis.rpush('insights_pending', data.to_json)
  end
end

• 第三步：30分钟定时消费逻辑（可搭配whenever/sidekiq-cron实现定时任务）

# 每次批量取1000条插入，避免单次加载数据过多撑爆内存
batch_insert_size = 1000
pending_records = []

while (raw_data = $redis.lpop('insights_pending'))
  pending_records << JSON.parse(raw_data)
  if pending_records.size >= batch_insert_size
    # 批量插入关闭校验可提升30%以上性能，前提是数据写入前已经做了合法性校验
    Insight.import pending_records, validate: false
    pending_records.clear
  end
end
# 插入剩余不足批次的数据
Insight.import pending_records, validate: false if pending_records.any?

2. 可选进阶优化

• 给Redis开启RDB+AOF混合持久化，避免Redis异常重启丢失缓冲数据，可靠性高于本地日志方案
• 如果后续数据量继续增长，可调整消费频率为10~15分钟一次，降低Redis内存占用，也可以把批量消费逻辑拆分为多个Sidekiq异步任务并行处理
• 不需要实例化模型的场景下，可改用Rails内置的insert_all方法代替activerecord-import，性能会更高：

Insight.insert_all pending_records

• 批量插入时包裹在事务中执行，减少事务提交次数，进一步提升写入速度

内容的提问来源于stack exchange，提问作者Rubioli