如何修复AWS EMR Spark环境下调用toPandas()出现的连接拒绝错误

问题根因 #

该连接拒绝报错的本质是Zeppelin的Spark解释器进程（运行在EMR的Driver节点上）崩溃退出，导致Zeppelin服务无法和解释器建立Thrift连接。崩溃的直接原因是调用toPandas()时需要将全量100万行的分布式Spark数据集一次性拉取到Driver节点的内存中，你仅调整了Executor的内存配置，没有匹配调整Driver节点的内存上限，触发OOM后解释器进程被系统终止。

解决步骤 #

• 优先调整Spark Driver的内存配置，不要仅调整Executor内存。在Zeppelin的Spark解释器配置页或者EMR集群的Spark默认配置中，将spark.driver.memory调整到至少8G以上，如果你的数据集列数超过50列建议调到12G~16G，调整后需要重启Spark解释器生效。
• 优化toPandas()的调用逻辑，避免全量拉取不必要的字段：在调用toPandas()前先使用select()方法只保留你后续KNN填充需要用到的列，减少需要拉取到Driver端的数据量，示例代码如下：

pre_stage_1 = spark.read.csv("s3://e/s.csv", header="true", inferSchema="true") 
# 只保留需要的字段，减少数据量
required_cols = ["col1", "col2", "col3"] # 替换为你实际需要的列名
knn_imputed = pre_stage_1.select(*required_cols).toPandas().copy(deep=True)

• 如果数据量还是过大，建议不要直接用Pandas做KNN填充，改用Spark MLlib提供的Imputer或者KNNImputer相关算子在分布式集群上完成计算，避免全量数据落盘到单节点Driver。
• 额外校验：如果调整完Driver内存还是报错，可以登录EMR的主节点查看Zeppelin的日志文件（默认路径为/var/log/zeppelin/），确认是否存在端口占用或者安全组拦截的特殊情况，90%以上的同类场景都是Driver内存不足导致的。

内容的提问来源于stack exchange，提问作者Erika