Rails上传CSV后导出错误数据CSV：大数据量传递难题

应用背景 #

电影关联多个Character（角色）

已完成任务 #

• 允许用户通过CSV上传角色数据
• 若存在错误，按行展示错误信息

待解决任务 #

在结果页添加链接，指向仅包含未创建成功的错误角色数据的新CSV文件

当前上传方法代码 #

def upload
    saved_characters = []
    characters_with_errors = []
    errors = {}

    begin
      CSV.parse(params[:csv].read, **csv_options) do |row|
        row_hash = clear_input(row.to_h)
        new_character = Character.new(row_hash)

        if new_character.save
          add_images_to(new_character, row)
          saved_characters << new_character
        else
          characters_with_errors << new_character
          errors[new_character.name] = new_character.errors.full_messages.join(', ')
        end
      end
    rescue CSV::MalformedCSVError => e
      errors = { 'General error': e.message }.merge(errors)
    end

    @upload = {
      errors: errors,
      characters: saved_characters,
      characters_with_errors: characters_with_errors
    }
  end

核心问题 #

数据量过大，无法通过params传递错误数据到GET端点，不确定如何在结果页添加链接跳转至生成错误数据CSV的GET端点，寻求最佳实践方案。

针对大数据量场景，推荐以下两种落地实践：

1. 临时存储错误数据到服务器（优先推荐） #

实现步骤 #

• 上传阶段改造：在upload方法处理CSV时，额外收集错误行的原始数据（而非Character对象，保证导出CSV与用户上传格式一致），将其序列化后存入临时存储（比如Redis），生成唯一download_token作为标识，并设置过期时间避免资源浪费：

  def upload
    saved_characters = []
    characters_with_errors = []
    errors = {}
    error_rows = [] # 新增：收集错误行原始数据
  
    begin
      CSV.parse(params[:csv].read, **csv_options) do |row|
        row_hash = clear_input(row.to_h)
        new_character = Character.new(row_hash)
  
        if new_character.save
          add_images_to(new_character, row)
          saved_characters << new_character
        else
          error_rows << row # 保存原始行
          characters_with_errors << new_character
          errors[new_character.name] = new_character.errors.full_messages.join(', ')
        end
      end
    rescue CSV::MalformedCSVError => e
      errors = { 'General error': e.message }.merge(errors)
    end
  
    # 生成下载token并存储错误数据，1小时后自动过期
    @download_token = SecureRandom.uuid
    Redis.current.setex("error_csv_#{@download_token}", 3600, error_rows.to_json)
  
    @upload = {
      errors: errors,
      characters: saved_characters,
      characters_with_errors: characters_with_errors
    }
  end
  

• 视图层添加下载链接：在upload.html.erb中渲染下载链接，指向新增的GET端点并携带download_token：

  <% if @download_token.present? && @upload[:errors].present? %>
    <a href="<%= download_error_csv_path(token: @download_token) %>">下载错误角色数据CSV</a>
  <% end %>
  

• 实现GET下载端点：新增控制器方法，通过token从临时存储取出数据，生成并返回CSV：

  def download_error_csv
    download_token = params[:token]
    error_rows = Redis.current.get("error_csv_#{download_token}")
    return head :not_found unless error_rows
  
    error_rows = JSON.parse(error_rows)
    # 生成CSV
    csv_data = CSV.generate(**csv_options) do |csv|
      # 写入表头（复用上传时的表头）
      csv << error_rows.first.headers if error_rows.first.respond_to?(:headers)
      error_rows.each do |row|
        csv << row.fields
      end
    end
  
    # 设置响应头触发下载
    send_data csv_data, 
              filename: "error_characters_#{Time.now.strftime('%Y%m%d%H%M')}.csv",
              type: 'text/csv'
    
    # 下载后删除临时数据，节省空间
    Redis.current.del("error_csv_#{download_token}")
  end
  

优势 #

• 完全规避大数据量通过URL/params传递的问题，性能稳定
• 临时数据自动过期，不会占用永久存储资源

2. 直接在上传响应中生成CSV（适合中等数据量） #

如果数据量未达到浏览器URL长度限制，可以在upload方法中直接生成错误数据CSV，存入实例变量后，通过data: URI在视图提供下载链接：

# upload方法末尾新增
unless error_rows.empty?
  @error_csv = CSV.generate(**csv_options) do |csv|
    csv << error_rows.first.headers if error_rows.first.respond_to?(:headers)
    error_rows.each do |row|
      csv << row.fields
    end
  end
end

视图层代码：

<% if @error_csv.present? %>
  <a href="data:text/csv;charset=utf-8,<%= URI.encode_www_form_component(@error_csv) %>">下载错误角色数据CSV</a>
<% end %>

劣势 #

• 数据量过大时会触发浏览器URL长度限制，导致下载失败

关键注意事项 #

• 必须保存用户上传的原始错误行数据，而非Character对象属性，保证导出CSV格式与上传文件一致，方便用户修改后重新上传
• 临时存储的过期时间可根据业务调整，建议设置1-2小时
• 下载端点需校验token有效性，防止恶意请求

内容的提问来源于stack exchange，提问作者Gustavo Borges