如何在Apache Spark中安装Prophet以搭配PySpark使用？

1. 解决pip命令找不到的问题 #

你的环境是Python2.7，对应的包管理工具为pip2（Python3的包管理工具是pip3），按以下步骤处理：

• 先尝试直接执行：$ pip2 --version，确认是否已安装
• 如果提示找不到命令，针对Debian/Ubuntu系统执行以下命令安装pip2：

  $ sudo apt-get update
  $ sudo apt-get install python-pip
  

  其他系统可替换为对应包管理器命令，比如CentOS用yum install python-pip

2. 安装兼容Python2.7的Prophet版本 #

Prophet v1.0及以上版本不再支持Python2.7，必须安装最后一个兼容版本v0.7.1，且Python2环境中包名为fbprophet，执行安装命令：

$ sudo pip2 install fbprophet==0.7.1

3. 验证本地Python环境安装结果 #

打开Python2交互环境，执行以下代码验证：

from fbprophet import Prophet
print("Prophet导入成功")

无报错则说明本地Python环境已配置好Prophet。

4. 让PySpark集群适配Prophet #

PySpark基于分布式运行，需确保所有Spark工作节点都执行步骤2的安装命令（单机版Spark仅需本地安装）。

提交测试任务验证 #

编写测试脚本test_prophet.py：

from pyspark.sql import SparkSession
from fbprophet import Prophet
import pandas as pd
import numpy as np

spark = SparkSession.builder.appName("ProphetTest").getOrCreate()

# 生成测试时序数据
pdf = pd.DataFrame({
    'ds': pd.date_range(start='2020-01-01', periods=100),
    'y': [i + np.random.randn() for i in range(100)]
})

# 训练Prophet模型
model = Prophet()
model.fit(pdf)

print("Prophet模型训练完成")
spark.stop()

执行脚本：

$ pyspark test_prophet.py

无报错则说明PySpark可正常调用Prophet。

注意事项 #

• 所有Spark节点的Python版本、Prophet版本必须完全一致，避免兼容性问题
• Python2.7已停止官方维护，长期使用建议升级至Python3.7~3.10（Spark3.3.0支持该版本区间），可使用最新版Prophet

内容的提问来源于stack exchange，提问作者Luis Estrada