Scala+Spark环境下时间序列建模及pmdarima库使用问题咨询

ARIMA完全适配你的需求，它本身就是AR（自回归）、I（差分平稳）、MA（移动平均）三类模型的组合实现，刚好覆盖你当前用AR、后续扩展MA的技术规划。只要你的时间序列满足以下前提就可以直接使用：

• 序列经过1~2阶差分后可达到平稳状态
• 没有强依赖的外部协变量（如果有可以用ARIMA的变体SARIMAX）
• 序列没有过于剧烈的突变式趋势变化

• Spark MLlib 官方实现：Spark 3.0及以上版本原生提供org.apache.spark.ml.regression.ARIMA实现，完全兼容Spark Session的API，支持分布式训练和批量预测，不需要引入第三方依赖，是生产环境部署的首选，支持自定义p/d/q参数，也内置了简单的参数择优逻辑。
• Spark TimeSeries库：原Cloudera开源的Spark生态专属时间序列工具库，原生Scala实现，除基础的AR、MA、ARIMA外，还支持SARIMA、GARCH等扩展模型，同时提供了时间序列预处理、缺失值填充、周期识别等配套能力，适合复杂场景使用。
• Scala SSL库：轻量统计学习库，包含单节点的AR/MA/ARIMA实现，API简洁，适合小数据集本地调试验证逻辑，验证通过后再迁移到Spark分布式环境。

可以调用，目前有两种生产可用的实现方式：

• 基于Py4J桥接：Spark本身通过Py4J实现JVM与Python进程的通信，你可以将pmdarima的参数搜索、推理逻辑封装为Python UDF，在Scala侧注册该UDF后即可直接调用，适合中小规模的时间序列处理场景。
• 基于PySpark Pandas UDF：如果项目允许混合Scala与PySpark代码，可以将pmdarima相关逻辑用PySpark的Pandas UDF实现，Scala侧负责数据预处理、结果落盘等逻辑，两者通过Spark DataFrame/临时表做数据交互，大规模场景下可以结合Spark的分组并行能力，将不同的独立时间序列分配到不同Executor上并行执行pmdarima逻辑，性能可满足生产要求。

注意：pmdarima的auto_arima参数搜索是单进程逻辑，不要将大量序列聚合到同一个进程中执行，避免出现OOM或者执行超时问题。

• Prophet：Facebook开源的时间序列预测模型，对节假日效应、缺失值、趋势突变的适配能力优于传统ARIMA，Scala侧可以通过JPMML加载预训练的Prophet模型，也可以通过上述Python桥接方案调用原生Python库，适合非平稳、有明显周期特征的序列预测。
• DeepAR：亚马逊开源的深度学习时间序列预测模型，支持多协变量输入，针对大量独立短序列的预测效果远超传统统计模型，Spark生态有开源的Scala分布式实现，适合复杂业务场景的高准确率预测需求。
• PMML推理方案：如果是低延迟的实时预测场景，可以将训练好的AR/MA/ARIMA模型导出为PMML格式，Scala侧用PMML加载库直接做推理，不需要依赖Spark运行时资源，延迟可以控制在毫秒级。

内容的提问来源于stack exchange，提问作者Didi