Hadoop GCS-Connector写入GCS触发Java堆内存溢出问题排查

一、GCS写入内存占用过高的原因 #

• 分块上传机制差异：GCS Connector默认将上传数据分成较大的分块（默认100MB），每个分块会完整缓存到JVM堆内存中；而S3的Hadoop客户端分块逻辑更轻量化，内存利用率更高，相同数据量下内存占用更低。
• 异步上传并发叠加：GCS Connector默认使用多线程异步上传，当任务并发较高时，多个上传分块同时占用堆内存，叠加后超出任务的堆内存限制。
• 客户端内存管理逻辑：GCS依赖的Google API客户端在构建上传分块时，内存复用机制不如S3客户端高效，频繁的缓冲区创建会加剧内存消耗。

二、降低GCS上传内存消耗的配置方案 #

以下配置可通过EMR集群的hadoop-env.sh或任务提交时的参数传递生效：

• 减小上传分块大小
  降低单个分块占用的内存，避免单次缓存过大数据：

  <property>
    <name>fs.gs.outputstream.upload.chunk.size</name>
    <value>16777216</value> <!-- 16MB，可根据内存情况调整为8MB/32MB -->
  </property>
  

• 限制异步上传线程数
  减少同时运行的上传任务，降低内存中缓存的分块总数：

  <property>
    <name>fs.gs.upload.thread.pool.size</name>
    <value>4</value> <!-- 默认线程数较高，建议根据任务并发量下调 -->
  </property>
  

• 启用缓冲区复用
  开启上传缓冲区的复用机制，减少内存频繁分配与回收的开销：

  <property>
    <name>fs.gs.outputstream.reuse.buffers</name>
    <value>true</value>
  </property>
  

• 调整MapReduce任务堆内存
  在无法扩容集群的情况下，优化任务级别的内存分配：

  # 提交任务时添加参数
  -Dmapreduce.map.java.opts=-Xmx3072m \
  -Dmapreduce.reduce.java.opts=-Xmx6144m \
  -Dmapreduce.map.memory.mb=4096 \
  -Dmapreduce.reduce.memory.mb=8192
  

• 小文件场景禁用分块上传
  若任务处理的是单个小于5MB的小文件，可切换为简单上传模式，避免分块内存开销：

  <property>
    <name>fs.gs.outputstream.upload.type</name>
    <value>MEDIA_SIMPLE_UPLOAD</value>
  </property>
  

  注意：此配置不适合大文件上传，会触发GCS的API限制。

内容的提问来源于stack exchange，提问作者Dinesh Raj