无法读取Avro文件：添加JAR仍报NoClassDefFoundError求助

问题本质 #

java.lang.NoClassDefFoundError: org/apache/avro/Schema$Parser 是因为Avro核心类库未被正确加载。Spark-Avro本身依赖Avro核心包，你可能只引入了Spark-Avro的JAR，缺失了对应的Avro核心依赖，或者版本不匹配导致冲突。

解决方案 #

1. 使用--packages自动管理依赖（推荐） #

Spark提交时用--packages参数，Maven会自动下载Spark-Avro及其依赖的Avro核心包，避免手动匹配版本的麻烦。命令格式：

spark-submit --packages org.apache.spark:spark-avro_{scala版本}:{spark版本} 你的应用jar路径

示例（Spark 3.3.0 + Scala 2.12）：

spark-submit --packages org.apache.spark:spark-avro_2.12:3.3.0 your-app.jar

2. 手动补充Avro核心JAR #

如果必须手动添加JAR，需要同时包含Spark-Avro JAR和对应的Avro核心JAR：

• 先确认版本对应关系：比如Spark 3.3.x对应Avro 1.11.0，Spark 3.2.x对应Avro 1.10.2，可通过Spark官方文档或Spark-Avro的Maven依赖信息确认。
• 提交时用--jars参数同时指定两个JAR，用逗号分隔：

spark-submit --jars spark-avro_2.12-3.3.0.jar,avro-1.11.0.jar your-app.jar

3. 排查版本冲突 #

• 执行spark-submit --verbose查看加载的JAR列表，确认是否存在多个版本的Avro JAR，若有则移除冲突的旧版本。
• 检查本地项目依赖（如Maven/Gradle），确保没有引入与Spark-Avro不兼容的Avro版本。

4. IDE本地运行配置 #

如果是在IDE中测试，确保依赖配置正确：

• Maven：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-avro_2.12</artifactId>
    <version>3.3.0</version>
    <scope>runtime</scope>
</dependency>

• Gradle：

runtimeOnly 'org.apache.spark:spark-avro_2.12:3.3.0'

这样会自动引入Avro核心依赖，无需手动添加。

内容的提问来源于stack exchange，提问作者Vasanth Kumar