Monix Task实现批量URL请求单请求异常不触发整体失败的方法
问题根因
你遇到的「任意一个URL请求抛错就导致整个执行流进全局失败分支」的现象,本质是两层逻辑叠出来的:
- 每个单URL的请求Task没做错误隔离:
Http(href).asString抛的SSL握手异常、超时、连接拒绝这些运行时错误,会直接让对应的Task进入失败状态 - 你用的
Task.parSequence、Task.sequence这类序列聚合操作的默认逻辑是:只要序列里有一个Task失败,整个聚合Task就会带着抛出来的异常立刻终止,异常顺着聚合链一路冒泡到最外层调用的地方,直接触发控制器里的Failure分支。
调整实现思路
核心要做的就是给每个单独的URL请求划好错误边界,把本来要往上抛的异常,转成能正常收集的结构化结果,从根上不让异常触发聚合层的失败逻辑。
具体落地就几步:
- 给每个单URL请求的Task加错误捕获,把可能抛错的
Task[HttpBinaryResponse]转成永远不会失败的Task,里面存的值要么是正常的HTTP响应,要么是带错误信息的失败结果 - 保证所有并行、串行聚合的Task都是成功状态,不会触发聚合逻辑的全局失败
- 最后收集到的结果列表里,既存成功请求的响应,也存每个失败URL的错误详情
代码调整示例
首先调整HttpBinaryResponse的构造适配,新增支持携带错误信息的构造方法(如果已有可以跳过),示例实现:
object HttpBinaryResponse { // 原有成功响应的构造逻辑 def asHttpBinaryResponse(href: String, resp: HttpResponse[String]): HttpBinaryResponse = ??? // 新增错误场景的构造方法,记录请求URL和错误信息 def error(href: String, errMsg: String): HttpBinaryResponse = ??? }
随后调整parse方法的实现,把错误捕获下沉到每个单请求的层级:
def parse(filter: ParserFilter): Task[Seq[HttpBinaryResponse]] = { import scalaj.http._ val browser = new JsoupBrowser { override def requestSettings(conn: Connection): Connection = conn.timeout(2000) } // 基础URL的抓取逻辑也做错误兜底,避免基础URL本身访问失败触发全局错误 val hrefs = (browser.get(filter.url) >> elementList("a[href]") >?> attr("href")) .attempt .map(_.getOrElse(Nil)) val batched = hrefs.distinct.flatten .filter(_.startsWith("http")) .map(href => Task { HttpBinaryResponse.asHttpBinaryResponse(href, Http(href).asString) } // 单请求层捕获所有异常,不让异常向上冒泡 .attempt .map { case Left(err) => HttpBinaryResponse.error(href, err.getMessage) case Right(successResp) => successResp } ) // 原有批量并发控制逻辑保持不变 .sliding(30, 30) .toSeq .map(chunk => Task.parSequence(chunk)) Task.sequence(batched).map(_.flatten) }
为什么之前的onErrorRecoverWith不生效
你之前尝试的异常恢复逻辑,大概率是加在了最外层的聚合Task上,这种位置根本不对:
- 异常已经从某个单请求冒泡上来,触发了聚合逻辑的短路终止,后面正在并发执行的其他请求结果根本收不全
- 最外层的恢复逻辑只能拿到那一个最先抛出来的异常,没法把所有请求的结果(成功的、其他失败的)整理成完整列表返回
把错误捕获下沉到每个单请求的Task层级后,每个请求都是独立的错误边界:哪怕某个请求抛SSLHandshakeException、网络超时啥的,都只会被自己的捕获逻辑接住,转成结构化的错误结果,既不影响其他请求执行,也不会触发聚合层的失败短路。
改完之后,整个parse返回的Task永远会走成功分支,最后拿到的结果列表是全量的——既有正常响应的HTTP内容,也有每个失败URL对应的错误信息,控制器层甚至可以简化掉全局的Failure分支判断,直接把返回的列表序列化输出就行。
内容的提问来源于stack exchange,提问作者joesan
相关产品推荐
相关产品推荐

