Flink写入HDFS抛出RpcException: RPC响应超最大数据长度问题咨询

该配置方法完全错误，核心问题有两点：

• 配置项归属错误：ipc.maximum.data.length是Hadoop核心参数，定义在core-site.xml中，仅对加载Hadoop common配置的进程生效。你使用HIVE_SITE_CONF_前缀注入的配置只会写入Hive的hive-site.xml配置文件，Flink写入HDFS时走Hadoop客户端逻辑，完全不会读取Hive的配置参数，配置根本不生效。
• 配置作用域错误：该参数需要同时在HDFS服务端（NameNode、DataNode进程）和HDFS客户端（即你的Flink作业进程）两侧配置生效，仅在Hive服务的环境变量中添加配置，既不会被HDFS服务读取，也不会被Flink作业读取。

如果要通过Docker环境变量给Hadoop核心配置注入该参数，需要在HDFS相关服务的环境变量中添加CORE_SITE_CONF_ipc_maximum_data_length=134217728，同时在Flink作业的classpath下的core-site.xml中同步添加该配置，才能保证两侧参数一致。

从你给出的代码和环境描述来看，90%以上的概率是以下问题导致的报错，和IPC参数大小无关：

• 端口使用错误：你代码中填写的HDFS地址端口为50070，这是Hadoop 2.x版本NameNode的WebUI服务端口，不是NameNode的RPC通信端口。Hadoop 2.x NameNode默认RPC端口为8020，Hadoop 3.x版本NameNode默认RPC端口为9000、WebUI端口为9870。你把HTTP协议的WebUI端口当成RPC端口连接，服务端返回的是HTTP格式的网页响应，Hadoop RPC客户端无法按RPC协议解析，会直接判定响应长度超出阈值抛出该异常，这是该报错最常见的触发场景。
• 端口映射错误：如果使用Docker部署集群，需要确认localhost映射的对应端口确实指向NameNode的RPC端口，而非DataNode、YARN ResourceManager、HiveServer2等其他服务的端口，连接非RPC服务拿到不符合协议格式的响应，同样会触发该报错。
• 客户端与服务端版本不兼容：如果Flink作业引入的Hadoop依赖版本和Docker集群部署的Hadoop版本差距过大，RPC协议序列化/反序列化不兼容，也可能抛出该类异常。

1. 首先修正Flink作业中HDFS的连接地址，将端口替换为NameNode的实际RPC端口，Hadoop 2.x环境示例代码如下：

val sink: StreamingFileSink[String] = StreamingFileSink
      .forRowFormat(new Path("hdfs://localhost:8020/mydata"), new SimpleStringEncoder[String]("UTF-8"))
      .withRollingPolicy(
        DefaultRollingPolicy.builder()
          .withRolloverInterval(Duration.ofMinutes(15))
          .withInactivityInterval(Duration.ofMinutes(5))
          .withMaxPartSize(1024 * 1024 * 1024)
          .build())
      .build()

2. 修正Docker环境变量配置，将IPC长度参数加到HDFS服务的环境变量中，而非Hive服务的环境变量。
3. 确认Flink作业引入的Hadoop依赖版本和集群Hadoop版本一致，必要时在Flink资源目录下的core-site.xml中同步添加IPC长度配置。

内容的提问来源于stack exchange，提问作者Sjoerd222888