如何高效将60GB文件批量上传至Nexus仓库？

针对你从Artifactory下载60GB压缩包、解压后单线程curl上传Nexus耗时过长的问题，以下是几个实用的优化方案：

1. 跳过本地完整存储，流式处理减少IO等待 #

不需要把整个ZIP下载到本地再解压，直接通过管道将下载流实时解压并上传，省去磁盘存储的时间和IO开销：

# 用bsdtar流式解压并将文件传递给并行curl上传
curl -sSL "https://your-artifactory-domain/path/to/your/archive.zip" | bsdtar -xf - -O | xargs -P 12 -I {} curl --http2 -u nexus-user:pass -T {} "https://your-nexus-domain/repository/target-repo/$(basename {})"

注：bsdtar -O会将解压后的文件内容输出到标准输出，结合xargs -P开启12个并行上传进程（可根据服务器负载调整），--http2启用HTTP/2提升多请求效率。

2. 用专用工具替代单线程curl #

单线程curl的效率极低，换成支持多线程批量上传的专用工具：

Nexus CLI（官方工具） #

如果是Nexus 3+，可以用官方CLI的批量上传功能，它内置多线程：

# 先解压文件到临时目录（如果必须保留解压步骤）
unzip archive.zip -d /tmp/upload-dir
# 批量上传
nexus-cli upload \
  --directory /tmp/upload-dir \
  --repository your-target-repo \
  --base-path /target/repo/path \
  --threads 15

并行curl脚本 #

如果不想安装额外工具，用find+xargs实现多线程上传：

find /path/to/unzipped-files -type f | xargs -P 10 -I {} \
  curl --http2 -u user:password -T {} \
  "https://your-nexus-url/repository/your-repo/{}"

-P 10表示同时跑10个curl进程，根据你的网络带宽和Nexus负载调整数值（建议5-20之间测试）。

3. 打包后单文件上传，服务器端解压 #

如果能访问Nexus服务器的存储目录，把解压后的所有文件重新打包成一个大压缩包，仅上传一次，再在Nexus服务器端解压：

# 重新打包解压后的文件（用tar.gz比zip压缩率更高）
tar -czf bulk-upload.tar.gz /path/to/unzipped-files
# 上传压缩包
curl -u user:pass -T bulk-upload.tar.gz "https://your-nexus-url/repository/your-repo/bulk-upload.tar.gz"
# 登录Nexus服务器，解压到仓库存储目录
ssh nexus-server "cd /opt/nexus/sonatype-work/nexus3/blobs/your-repo && tar -xzf bulk-upload.tar.gz --strip-components=1"

注：需要替换Nexus存储目录的实际路径，且要有服务器SSH权限，这种方式能把上千次HTTP请求减少到1次，速度提升最明显。

4. 优化本地IO和网络 #

• 用内存盘存储解压文件：如果本地磁盘IO慢，把解压目录放到tmpfs内存盘，避免磁盘读写瓶颈：

  mkdir /tmp/ramdisk
  mount -t tmpfs -o size=70G tmpfs /tmp/ramdisk
  unzip archive.zip -d /tmp/ramdisk
  # 上传完成后卸载内存盘
  umount /tmp/ramdisk
  

• 调整并行数：测试不同的并行进程数（比如5、10、15），找到不会压垮Nexus且能最大化带宽的数值。
• 启用压缩传输：如果Nexus支持，curl加上--compress参数，减少传输的数据量：

  curl --compress -u user:pass -T file "https://your-nexus-url/repo/path"
  

内容的提问来源于stack exchange，提问作者John