Databricks中使用SARIMAX时不同Worker类型结果差异咨询

• 线性代数库优化差异
  不同类型的Worker实例预装的线性代数库（如OpenBLAS、MKL）版本或优化策略不同。SARIMAX模型的参数估计依赖于似然函数求解、矩阵运算等数值计算，这些库在算法实现、精度控制上的细微区别，会导致拟合出的模型参数出现偏差，最终影响预测结果。

• 并行计算策略差异
  Memory-optimized workers会针对内存资源做特殊优化，部分依赖库会自动调整并行线程数、内存分配规则；而general purpose workers的资源调度逻辑不同，模型训练时的并行执行路径存在差异，引入数值计算的随机性偏差，进而导致结果不一致。

• 依赖包环境差异
  Databricks不同Worker类型的基础环境中，statsmodels等SARIMAX依赖包的编译选项或子依赖版本可能存在区别。这些差异会影响底层数值计算模块的执行逻辑，最终反映到预测结果的分歧上。

• 内存管理机制影响
  Memory-optimized workers的内存缓存、分配策略更激进，处理大规模时间序列数据时，数据在内存中的存取方式与general purpose workers不同，可能影响模型训练过程中的数值稳定性，导致预测结果出现差异。

内容的提问来源于stack exchange，提问作者user3002936