Carrierwave大文件上传问题：200MB文件优化及后台下载实现

一、规避200MB文件上传时的控制器阻塞问题 #

上传大文件时控制器长时间卡着，核心原因是同步上传把IO密集型操作塞进了请求周期，导致HTTP请求一直处于pending状态。这里有两个实用的解决方案：

1. 用Carrierwave后台插件异步化上传 #

推荐用carrierwave-backgrounder这个gem，它能直接把Carrierwave的上传逻辑转移到后台队列（比如Sidekiq、Resque），让控制器立刻给用户返回响应，不用等上传完成。

具体步骤：

• 先装依赖gem：

  # Gemfile
  gem 'carrierwave'
  gem 'carrierwave-backgrounder'
  gem 'sidekiq' # 换成你常用的队列工具也可以
  

• 在Uploader类里启用后台处理：

  class DocumentUploader < CarrierWave::Uploader::Base
    include CarrierWave::Backgrounder::Delay
    # 你的其他上传配置（存储路径、文件类型限制等）
  end
  

• 在Model里标记要后台处理的字段：

  class Document < ApplicationRecord
    mount_uploader :file, DocumentUploader
    process_in_background :file # 告诉Carrierwave这个字段的上传要丢去后台
  end
  

• 控制器里只需要保存记录，不用等上传：

  class DocumentsController < ApplicationController
    def create
      @document = Document.new(document_params)
      if @document.save
        # 立刻跳转，上传任务已经进Sidekiq队列了
        redirect_to @document, notice: '文件上传已提交，处理完成后会通知你'
      else
        render :new
      end
    end
  
    private
    def document_params
      params.require(:document).permit(:file)
    end
  end
  

这样用户点完上传按钮，控制器马上给出反馈，Sidekiq会在后台默默完成文件存储、压缩这些重活，完全不阻塞请求。

2. 前端分片上传（适合超大文件+进度展示） #

如果200MB还是觉得有压力，或者想给用户展示上传进度，就用分片上传：把大文件切成多个小片段（比如10MB/片），逐个传到服务器，最后在后台合并成完整文件。

实现思路：

• 前端用Dropzone.js、Uppy这类库，自动帮你分片、传片，还能实时显示进度
• 控制器接收每一片，存到临时目录，记录分片的序号和总数
• 等所有分片传完，触发后台任务合并分片，再用Carrierwave移到最终存储
• 这种方式不仅解决了阻塞问题，还避免了大文件传一半失败要重新传整个的尴尬

二、实现后台文件下载功能 #

这里分两种常见场景给方案：

场景1：用户下载大文件，避免前端一直等待 #

如果用户要下的文件很大，直接返回文件流会阻塞请求甚至超时，这么做：

• 用户发起下载请求后，控制器触发后台任务，生成预签名下载链接（比如S3的presigned URL），或者把文件打包成压缩包（如果需要）
• 后台任务完成后，通过邮件、站内通知把下载链接发给用户
• 控制器立刻返回“下载请求已受理，稍后通知你”的响应

示例代码（用Sidekiq）：

# 后台任务
class GenerateDownloadLinkJob
  include Sidekiq::Job

  def perform(document_id, user_id)
    document = Document.find(document_id)
    user = User.find(user_id)
    # 生成有效期1小时的S3预签名链接
    download_url = document.file.expiring_url(3600)
    # 发邮件通知用户
    UserMailer.download_ready(user, download_url).deliver_now
  end
end

# 控制器
class DownloadsController < ApplicationController
  def create
    @document = Document.find(params[:document_id])
    GenerateDownloadLinkJob.perform_async(@document.id, current_user.id)
    redirect_to @document, notice: '下载链接正在生成，稍后会发送到你的邮箱'
  end
end

场景2：服务器后台从外部URL下载文件到存储 #

比如用户给个外部文件URL，服务器要自动下载并存起来，同样用后台任务处理：

• 用户提交URL后，控制器保存记录，触发后台下载任务
• 后台用down gem（比open-uri稳定，支持断点续传）下载文件到临时路径，赋值给Carrierwave字段，保存Model
• 下载完成后通知用户

示例代码：

# Gemfile加依赖
gem 'down'

# 后台任务
class DownloadExternalFileJob
  include Sidekiq::Job

  def perform(document_id, external_url)
    document = Document.find(document_id)
    # 下载文件到临时路径
    temp_file = Down.download(external_url)
    # 赋值给Carrierwave字段，自动触发上传
    document.file = temp_file
    document.save!
    # 通知用户下载完成
    UserMailer.file_downloaded(document.user, document).deliver_now
  end
end

# 控制器
class DocumentsController < ApplicationController
  def create_from_url
    @document = Document.new(user: current_user)
    if @document.save
      DownloadExternalFileJob.perform_async(@document.id, params[:external_url])
      redirect_to @document, notice: '正在后台下载文件，完成后会通知你'
    else
      render :new_from_url
    end
  end
end

额外小贴士 #

• 不管是上传还是下载，一定要给用户加状态通知（邮件、站内信、前端弹窗），让用户知道任务进度或结果
• 用云存储（比如S3）的话，尽量用预签名URL处理上传下载，能减少服务器的IO压力
• 后台任务记得加失败重试机制，比如Sidekiq的retry参数，避免网络波动导致任务直接失败

内容的提问来源于stack exchange，提问作者evans