SQL Workbench连接Spark 3.1.2独立集群报Too large frame错误如何解决

java.lang.IllegalArgumentException: Too large frame: 34440615463属于Spark网络层的内置校验报错：Spark网络通信基于Netty框架实现，默认限制单次传输的最大帧大小为128MB，当通信过程中收到超过阈值的数据包时就会触发该异常。你之前调整的都是Shuffle阶段的内存、分区相关参数，未触及核心的网络帧限制规则，因此调整后不生效。

• 首先校验SQL Workbench的连接端口配置：Spark独立集群的Master RPC端口（默认7077）仅用于集群内部节点通信，不支持JDBC协议访问，如果误将JDBC连接指向7077端口，会出现协议不匹配的问题，被Netty误识别为超大帧，这是该场景下最常见的错误原因。正常情况下SQL Workbench需要连接的是Spark Thrift Server的服务端口，默认值为10000。
• 其次确认你通过SQL Workbench提交的查询返回的结果集大小：如果单条查询返回的全量结果超过128MB，也会触发该帧大小限制报错。

1. 端口配置错误修正
   将SQL Workbench的JDBC连接地址修改为Spark Thrift Server的访问地址，标准格式为：
   jdbc:hive2://<Thrift Server所在节点IP>:10000/<数据库名>
   如果开启了认证，按照实际配置补充用户名、密码参数即可。

2. 大结果集场景适配
   如果确认是查询返回结果集超过默认帧大小导致的报错，可按以下步骤调整：

• 启动Spark Thrift Server时添加网络帧大小配置，将阈值调整为大于你最大预期结果集的数值，示例如下：

start-thriftserver.sh \
  --conf spark.network.maxFrameSize=35g \
  --conf spark.network.timeout=300

注：你之前配置的spark.network.timeout value属于参数名书写错误，正确参数名为spark.network.timeout，单位为秒，无效参数可以删除。

• 优化JDBC连接参数，开启分批拉取结果，避免单次传输全量数据：在JDBC连接URL后追加?fetchSize=1000参数，可根据实际场景调整每次拉取的行数，降低单次传输的数据量。
• 若无需返回全量结果，建议在SQL中添加LIMIT限制返回行数，从业务侧降低结果集大小。

内容的提问来源于stack exchange，提问作者Nishant Garg