使用RubyZip处理大型Zip文件：65535个文件的限制问题

一、解决RubyZip的65535文件限制 #

RubyZip的默认限制源于它最初采用的传统Zip格式（依赖16位字段存储条目数），但新版本已支持Zip64扩展格式（可突破4GB大小和65535文件数限制）。启用Zip64模式即可解决问题：

创建大型Zip归档（启用Zip64） #

require 'zip'

# 确保RubyZip版本 >= 1.3.0（更早版本Zip64支持不完善）
Zip::File.open('large_archive.zip', Zip::File::CREATE) do |zipfile|
  zipfile.use_zip64 = true

  # 遍历目标目录下所有文件并添加到归档
  Dir.glob('/path/to/target_dir/**/*').each do |file_path|
    next unless File.file?(file_path)
    # 保留归档内的相对路径结构
    relative_path = Pathname.new(file_path).relative_path_from(Pathname.new('/path/to/target_dir')).to_s
    zipfile.add(relative_path, file_path)
  end
end

读取大型Zip归档 #

新版本RubyZip会自动识别Zip64格式，无需额外配置，直接正常读取即可：

require 'zip'

Zip::File.open('large_archive.zip') do |zipfile|
  zipfile.each do |entry|
    # 示例：提取文件到指定目录
    entry.extract_to('/path/to/extract_dir')
    # 或读取文件内容：content = entry.get_input_stream.read
  end
end

二、性能优先的替代方案：调用系统原生Zip工具 #

如果处理数十万文件时RubyZip性能不足，直接调用系统自带的zip/unzip命令（Linux/macOS原生支持，Windows可安装7-Zip或Git Bash工具）是更高效的选择——这类工具基于C语言实现，性能远优于Ruby库：

创建大型Zip归档 #

# 递归打包目录，自动启用Zip64，静默执行
system('zip -r large_archive.zip /path/to/target_dir -q')
raise "Zip创建失败" unless $?.success?

提取大型Zip归档 #

# 提取到指定目录，静默执行
system('unzip large_archive.zip -d /path/to/extract_dir -q')
raise "Zip解压失败" unless $?.success?

若需过滤文件（避免命令行参数过长），可结合find和xargs：

# 仅打包目录下的特定类型文件
system('cd /path/to/target_dir && find . -type f -name "*.txt" | xargs zip ../../text_files.zip -q')

三、额外注意事项 #

• 内存控制：处理大量文件时，避免一次性加载所有文件到内存，RubyZip的add方法默认流式写入，但自定义处理流时要确保及时关闭。
• IO优化：优先使用SSD存储，大幅降低磁盘IO等待时间，这对大型归档处理影响显著。
• 版本验证：使用RubyZip前先确认版本（gem list rubyzip），低于1.3.0的版本需升级：gem install rubyzip

内容的提问来源于stack exchange，提问作者Bim