Scala处理API分页 有没有比自定义Iterator更优的实现方案？

原实现合理性说明 #

你目前基于Iterator的实现是完全合理的。Iterator的设计初衷就是封装一次性遍历的状态逻辑，内部的可变变量对外不可见，不会破坏外部代码的纯性，是工业界实现这类分页拉取场景的常见方案，不需要对内部可变性有过多顾虑。

更优的无状态实现方案 #

如果你想要彻底消除显式可变变量，可以用Scala标准库提供的原生工具实现，代码更简洁也更安全：

方案1：使用Iterator.unfold（推荐，Scala 2.13+） #

unfold是标准库专门为生成带状态的迭代器提供的工具，内部自动管理状态，不需要你手动声明var：

case class Page(items: List[Int], nextPage: Option[Int], isLastPage: Boolean = false)

def accessData(nextPage: Option[Int]): Option[Page] = {
  val data = List(
    Page(List(1, 2, 3), Some(1)),
    Page(List(4, 5, 6), Some(2)),
    Page(List(7, 8, 9), Some(3)),
    Page(List(10, 11, 12), None, isLastPage = true)
  )
  val item = Option(nextPage.fold(data(0))(idx => data(idx)))
  println(f"accessing data $item")
  Thread.sleep(50)
  item
}

// 核心实现，无任何显式可变变量
def iterateItems: Iterator[Int] = Iterator.unfold[Page, Option[Int]](None) { currentNext =>
  accessData(currentNext).map { page =>
    // 格式：(当前迭代返回的页, 下一轮迭代的状态)
    (page, if (page.isLastPage) None else page.nextPage)
  }
}.flatMap(_.items)

// 测试调用和原实现完全一致
iterateItems.foreach(item => println("now working on " + item))

这个方案完全满足你的约束：

• 依赖返回的isLastPage判断终止，不需要提前知道总页数
• 对nextPage的类型无要求，不管是不是连续整数都可以正常使用
• 惰性求值，只有遍历到对应页的时候才会发起API调用

方案2：使用LazyList（支持Scala 2.12及更早版本） #

如果你的Scala版本低于2.13没有unfold方法，可以用纯函数式的惰性序列LazyList实现：

def pageStream(nextPage: Option[Int]): LazyList[Page] = accessData(nextPage) match {
  case None => LazyList.empty
  case Some(page) if page.isLastPage => LazyList(page)
  case Some(page) => page #:: pageStream(page.nextPage)
}

def iterateItems: Iterator[Int] = pageStream(None).flatMap(_.items).iterator

这个方案是完全纯函数的，没有任何可变状态，惰性求值的特性和Iterator一致，唯一区别是LazyList会缓存已经拉取过的页，重复遍历不会重复发起API调用，适合需要多次遍历的场景。

额外建议 #

• 如果不需要多次遍历结果，优先选择Iterator.unfold方案，内存占用更低，性能更好
• 实际线上使用时建议给accessData增加异常捕获逻辑，避免API调用失败直接终止遍历

内容的提问来源于stack exchange，提问作者NOOBAF