Spark读取HDFS文件报错：RPC响应超过最大数据长度

你遇到的RPC response exceeds maximum data length错误，核心原因是调用collect()时试图把HDFS上的大文件全量拉取到Spark Driver节点的内存中，超出了HDFS RPC允许的最大响应数据长度限制，属于操作使用不当，而非单纯的配置错误（配置调整是兜底方案）。

解决方案 #

• 优先调整操作，避免全量拉取
  如果你只是验证文件读取结果或查看部分数据，用take(n)替代collect()，仅拉取指定数量的样本数据：

  myfile.take(10) // 获取前10条数据
  

  若要查看数据内容，也可以用foreach(println)让Executor节点直接打印（大文件慎用，会生成大量日志）：

  myfile.foreach(println)
  

• 若必须拉取全量数据（仅适用于小文件）

  1. 修改HDFS配置：编辑Hadoop的hdfs-site.xml文件，添加或更新以下配置项（示例值为1GB，可根据文件大小调整）：

     <property>
         <name>dfs.client.max.response.size</name>
         <value>1073741824</value>
     </property>
     

     修改后重启HDFS集群使配置生效。
  2. 提升Spark Driver内存：启动spark-shell时指定Driver内存上限，确保有足够空间容纳全量数据：

     spark-shell --driver-memory 4g
     

• 大文件的正确处理姿势
  对于大文件，应利用Spark分布式计算能力在Executor端处理数据，最终将结果写入存储系统，而非拉取到Driver。示例：

  // 过滤包含指定关键词的数据并写入HDFS
  myfile.filter(line => line.contains("target_keyword")).saveAsTextFile("hdfs://localhost:9870/sample/filtered_result")
  

你的原始代码与错误信息 #

原始代码：

scala> val myfile = sc.textFile("hdfs://localhost:9870/sample/demofile.txt")
val myfile: org.apache.spark.rdd.RDD[String] = hdfs://localhost:9870/sample/demofile.txt MapPartitionsRDD[3] at textFile at <console>:1

scala> myfile.collect()

报错信息：

org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length
  at org.apache.hadoop.ipc.Client$IpcStreams.readResponse(Client.java:1936)
  at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1238)
  at org.apache.hadoop.ipc.Client$Connection.run(Client.java:1134)

内容的提问来源于stack exchange，提问作者Ashok Kumar