如何在scala.sys.process中捕获异常并实现下载重试？

我之前也碰到过一模一样的问题——用scala.sys.process的!操作符下载大文件时，好多错误只会输出到stderr，常规的try-catch根本抓不到，更别说加重试逻辑了。下面给你分享两种实用方案，尤其是专门针对大文件的那种：

核心问题分析 #

为啥try-catch抓不到错误？因为!操作符只会在进程返回非零退出码时抛出ProcessException，但有些下载过程中的异常（比如网络中断、文件写入权限不足）可能只会把错误信息输出到stderr，甚至进程可能返回0退出码，这时候!不会触发异常，自然没法被捕获。另外，!!虽然会抛出异常，但它会把stdout全部读进内存，完全不适合大文件下载场景。

方案一：自定义ProcessLogger + 重试逻辑（大文件首选） #

这个方法既不会占用过多内存（直接写入目标文件），又能完整捕获stderr的错误信息，还能轻松实现重试逻辑：

import java.io.File
import java.net.URL
import scala.sys.process.{Process, ProcessLogger}

def downloadWithRetry(url: String, dest: File, maxRetries: Int): Unit = {
  // 自定义日志捕获器，专门收集stderr的错误输出
  def createErrorCollector(): ProcessLogger = new ProcessLogger {
    private val errorBuffer = new StringBuilder
    override def out(s: => String): Unit = {} // 忽略标准输出，不需要的话可以保留
    override def err(s: => String): Unit = errorBuffer.append(s).append("\n")
    override def buffer[T](f: => T): T = f

    def getErrorDetails: String = errorBuffer.toString().trim()
  }

  // 递归实现重试逻辑
  def attempt(retryCount: Int): Unit = {
    val errorCollector = createErrorCollector()
    // 构建下载进程
    val downloadProcess = new URL(url) #> dest
    // 启动进程并等待完成，获取退出码
    val exitCode = downloadProcess.run(errorCollector).exitValue()
    val errorMsg = errorCollector.getErrorDetails

    // 判断下载是否失败：退出码非零，或者有明确的错误输出
    val isFailed = exitCode != 0 || errorMsg.nonEmpty && errorMsg.toLowerCase.contains("error")

    if (isFailed) {
      println(s"第${retryCount + 1}次尝试失败：\n$errorMsg")
      if (retryCount < maxRetries) {
        println(s"等待1秒后进行第${retryCount + 2}次重试...")
        Thread.sleep(1000) // 可选：加延迟避免频繁请求
        attempt(retryCount + 1)
      } else {
        throw new RuntimeException(
          s"已达到最大重试次数($maxRetries)，下载最终失败。错误详情：\n$errorMsg"
        )
      }
    } else {
      println("✅ 文件下载成功！")
    }
  }

  // 启动第一次尝试
  attempt(0)
}

使用示例 #

现在你可以用try-catch轻松捕获最终的失败情况了：

try {
  downloadWithRetry(
    url = "http://www.scala-lang.org/",
    dest = new File("scala-lang.html"),
    maxRetries = 3 // 最多重试3次
  )
} catch {
  case e: RuntimeException =>
    println(s"⚠️ 处理失败：${e.getMessage}")
    // 这里可以加后续处理，比如记录日志、发送告警等
}

方案二：用!!捕获异常（仅适合小文件） #

如果你的文件很小，不用担心内存问题，可以用!!操作符，它会在进程返回非零退出码时抛出ProcessException，异常信息也会包含stderr的内容：

import java.io.File
import java.net.URL
import scala.sys.process._

def downloadSmallFileWithRetry(url: String, dest: File, maxRetries: Int): Unit = {
  def attempt(retryCount: Int): Unit = {
    try {
      new URL(url) #> dest !! // !!会自动抛出ProcessException
      println("✅ 下载成功！")
    } catch {
      case e: ProcessException =>
        println(s"第${retryCount + 1}次尝试失败：${e.getMessage}")
        if (retryCount < maxRetries) {
          Thread.sleep(1000)
          attempt(retryCount + 1)
        } else {
          throw new RuntimeException("达到最大重试次数，下载失败", e)
        }
    }
  }
  attempt(0)
}

再次强调：这个方法绝对不能用在大文件上，因为!!会把整个文件内容读进内存，很容易导致OOM。

额外优化提示 #

• 可以根据错误信息做智能重试：比如遇到"网络超时"就重试，遇到"文件不存在"直接终止，避免浪费重试次数。
• 重试间隔可以用指数退避策略（比如第一次等1秒，第二次2秒，第三次4秒），减少对目标服务器的压力。

内容的提问来源于stack exchange，提问作者carfield