Spark应用读取44MB Avro文件执行Action时出现堆内存溢出错误

从你的日志和代码来看，虽然Avro文件只有44MB，但执行show()时触发了堆内存溢出，核心原因是Avro解析的内存开销远超文件本身大小，再加上默认Executor内存配置不足、数据源使用方式不合理等因素共同导致的。下面是具体的分析和解决方案：

核心原因拆解 #

1. Avro解析的内存膨胀：Avro是二进制序列化格式，解析为Spark的Row对象时，嵌套结构（比如你的payload.identifier.id）会产生大量对象开销，实际占用内存可能是原文件的数倍。
2. Schema推断的额外负载：默认情况下Spark会扫描整个Avro文件来推断Schema，这个过程会把文件内容全量加载到内存，哪怕你用了limit(1)，推断步骤也会优先执行。
3. Executor内存配置不足：Yarn容器默认的Executor堆内存通常较小（比如512MB），不足以支撑Avro解析+数据处理的内存需求。
4. 旧版Avro依赖的兼容性问题：你使用的com.databricks.spark.avro包可能和Spark版本不兼容，导致解析过程中出现内存泄漏或低效的内存使用。

具体解决方案 #

1. 切换到Spark原生Avro支持（优先推荐） #

Spark 2.4及以上版本已经内置了Avro数据源，不需要依赖第三方的com.databricks.spark.avro包。替换后不仅能避免版本兼容问题，还能获得更优的性能和内存效率：

val fiDF = spark.read
  .format("avro") // 替换为原生avro格式
  .load("C:\\Users\\kativikb\\Downloads\\Temp\\cco-irds\\rds_db_global_rds_fi-instrument_20200328000000_v1_block3_snapshot-inc.avro")
  .select("payload.identifier.id") // 先选需要的字段，减少内存加载量
  .limit(1)
fiDF.show(10)

2. 调整Executor内存配置 #

在提交Spark作业时，增加Executor的堆内存分配，确保有足够的内存处理Avro解析：

# 示例：设置Executor内存为1GB，可根据集群资源调整
spark-submit --executor-memory 1g --executor-cores 1 ... 你的作业参数

如果是本地调试，也可以在代码中直接设置：

spark.conf.set("spark.executor.memory", "1g")
spark.conf.set("spark.driver.memory", "1g")

3. 手动指定Schema，避免自动推断 #

手动定义你需要的字段对应的Schema，让Spark不需要扫描整个文件来推断，直接加载目标字段，大幅减少内存开销：

import org.apache.spark.sql.types._

// 只定义业务需要的字段Schema，无需全量定义
val targetSchema = StructType(Array(
  StructField("payload", StructType(Array(
    StructField("identifier", StructType(Array(
      StructField("id", StringType, nullable = true)
    )))
  )))
))

val fiDF = spark.read
  .schema(targetSchema)
  .format("avro")
  .load("你的Avro文件路径")
  .select("payload.identifier.id")
  .limit(1)
fiDF.show(10)

4. 优化数据加载顺序 #

把select算子放在limit之前（Spark优化器会自动调整顺序，但显式编写更稳妥），确保只加载需要的字段，避免全量数据集进入内存：

// 先筛选字段，再做limit，最大化减少内存占用
val fiDF = spark.read
  .format("avro")
  .load("文件路径")
  .select("payload.identifier.id")
  .limit(1)

额外排查点 #

• 检查Avro文件中是否存在超大字段（比如存储大量文本/数组的字段），即使单条记录也可能占用大量内存；
• 调整Spark内存管理参数，比如spark.memory.fraction（默认0.6）和spark.memory.storageFraction（默认0.5），确保执行内存有足够分配。

内容的提问来源于stack exchange，提问作者Vikas