本地PySpark读取远程HDFS Parquet遇RPC超限错误如何解决？

问题 #

在Mac本地PySpark会话中加载远程HDFS文件系统数据，执行代码如下：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

spark = SparkSession.builder.getOrCreate()

path = "/xx/yy/order_info_20220413/partn_date=20220511/part-00085-dd.gz.parquet"
host = "host"
port = 1234
orders = spark.read.parquet(
    f"hdfs://{host}:{port}{path}"
)

触发错误：

Py4JJavaError: An error occurred while calling o55.parquet.
: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length
    at org.apache.hadoop.ipc.Client$IpcStreams.readResponse(Client.java:1936)
    at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1238)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:1134)

已完成排查：

• 针对RPC response exceeds maximum data length错误检查本地core-site.xml，未找到fs.default.name配置项
• 通过终端telnet host port验证，可正常连接远程HDFS端口

解决方案 #

1. 增大RPC响应长度限制 #

在本地Hadoop的core-site.xml中添加或修改以下配置，提升单次RPC允许传输的最大数据量：

<property>
    <name>ipc.maximum.data.length</name>
    <value>134217728</value> <!-- 示例值为128MB，单位为字节，可根据实际文件大小调整 -->
</property>

修改完成后重启PySpark会话，使配置生效。

2. 代码中直接注入HDFS配置 #

无需修改本地配置文件，可在初始化SparkSession时显式指定相关参数，确保客户端使用正确的RPC限制与HDFS地址：

spark = SparkSession.builder \
    .config("spark.hadoop.ipc.maximum.data.length", "134217728") \
    .config("spark.hadoop.fs.defaultFS", f"hdfs://{host}:{port}") \
    .getOrCreate()

这种方式适合临时调试，避免修改全局配置。

3. 优化文件读取方式 #

• 若目标Parquet文件体积过大，先在HDFS端将文件拆分为更小的分片，再进行读取
• 尝试读取文件所在的HDFS目录而非单个文件，让Spark自动分片处理，减少单次RPC请求的数据量

4. 对齐Hadoop版本 #

确认本地PySpark依赖的Hadoop客户端版本与远程HDFS服务端版本一致，版本不兼容可能导致RPC协议异常，触发响应长度错误。

内容的提问来源于stack exchange，提问作者James Chang