PySpark连接MongoDB时出现Too large frame错误求助

问题背景 #

使用PySpark通过Mongo Spark Connector连接MongoDB时，SparkContext初始化失败，核心异常为：

java.lang.IllegalArgumentException: Too large frame: 5785721462337832960

本地环境：

• Spark 3.5.4
• Mongo Spark Connector 2.12:10.4.1（原使用10.2.1）
• OpenJDK 17.0.8
• macOS 13.7.4（Apple Silicon）
  已确认Spark与连接器版本兼容，其他工具可通过相同URI正常连接MongoDB，spark-shell执行相同命令也失败。

根本原因分析 #

这个错误本质是Netty网络框架解析数据包时出现异常，结合Apple Silicon（ARM架构）环境，最可能的触发原因：

1. ARM架构下JVM字节序与Spark默认网络配置不兼容，导致帧大小解析出现数值溢出
2. Spark默认的网络帧大小参数在ARM环境下不足以适配连接器的通信需求
3. 依赖包缓存损坏，导致连接器的网络组件加载异常

解决步骤 #

1. 调整Spark网络帧大小参数 #

在启动命令中添加针对网络帧的配置，强制指定合理的帧大小值：

./bin/pyspark \
--conf "spark.network.maxFrameSize=1024" \
--conf "spark.mongodb.read.connection.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
--conf "spark.mongodb.write.connection.uri=mongodb://127.0.0.1/test.myCollection" \
--packages org.mongodb.spark:mongo-spark-connector_2.12:10.4.1

注：spark.network.maxFrameSize单位为MB，设置为1024是放宽上限，避免帧大小溢出问题；同时使用当前安装的10.4.1版本连接器，保持命令与实际环境一致。

2. 确认使用ARM原生JDK #

检查JDK是否为Apple Silicon适配版本：

java -version

输出中需包含aarch64标识，若显示x86_64则说明使用的是x86版本JDK（通过Rosetta运行），需替换为ARM原生的OpenJDK或Oracle JDK。

3. 清理依赖缓存并重新下载 #

删除Spark的Ivy缓存目录中Mongo连接器的缓存文件，避免损坏的依赖导致异常：

rm -rf ~/.ivy2/cache/org.mongodb.spark

之后重新执行PySpark启动命令，让系统重新下载完整的连接器依赖包。

4. 简化启动命令格式 #

避免命令换行导致的参数解析错误，将命令合并为一行执行：

./bin/pyspark --conf "spark.network.maxFrameSize=1024" --conf "spark.mongodb.read.connection.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" --conf "spark.mongodb.write.connection.uri=mongodb://127.0.0.1/test.myCollection" --packages org.mongodb.spark:mongo-spark-connector_2.12:10.4.1

内容的提问来源于stack exchange，提问作者Benjamin