Dataproc上PySpark ALS模型预测作业失败（Databricks可运行）及解决

我之前也长期卡在一模一样的问题上：在Dataproc集群运行PySpark的ALS推荐模型预测阶段时，作业总是莫名执行失败，但相同的代码放到Databricks上却能毫无障碍地跑起来。当时最棘手的是因为各种限制没法访问Spark UI，完全摸不清Executor突然退出的具体原因。

后来随着对Spark和GCP的经验积累，我才反应过来核心问题出在Dataproc节点内存配置不足上。Databricks默认的集群配置通常会给Spark分配更适配的内存资源，而Dataproc如果用了基础款的小节点规格，在处理ALS预测这类对内存需求较高的任务时，很容易因为内存耗尽导致Executor崩溃退出。

具体解决步骤： #

• 如果集群不是长期运行的状态，直接停止现有集群，创建新集群时选择内存规格更高的节点类型（比如n1-highmem系列实例）
• 若不想重建集群，也可以通过调整Spark动态资源配置来提升内存分配，比如修改spark.executor.memory和spark.driver.memory参数，不过直接升级节点硬件规格通常更直接有效

补充SparkSession配置参考（适配高内存节点）： #

from pyspark.sql import SparkSession
from pyspark.ml.recommendation import ALSModel

# 初始化SparkSession时可显式指定内存参数（需匹配节点实际内存）
spark = SparkSession.builder \
    .appName("ALS-Prediction-Job") \
    .config("spark.executor.memory", "8g") \
    .config("spark.driver.memory", "4g") \
    .getOrCreate()

# 加载训练好的ALS模型并执行预测
model = ALSModel.load("gs://your-bucket/path/to/trained-als-model")
predictions = model.transform(test_dataset)
predictions.show()

另外提一句，要是之后再遇到类似问题，记得通过GCP控制台的Dataproc集群详情页找到Spark UI入口（需确保集群有公网访问权限或通过VPC peering访问），通过UI里的Executor日志、内存使用曲线能更快定位问题根源。

内容的提问来源于stack exchange，提问作者Adair