Pycharm本地运行PySpark读取Avro文件报AbstractMethodError如何解决

报错根因 #

你遇到的AbstractMethodError是spark-avro依赖与运行环境的Spark核心版本、Scala编译版本不兼容导致的：你使用的org.apache.spark:spark-avro_2.11:2.4.0要求运行环境必须是Scala 2.11编译的Spark 2.4.x分支版本，只要环境中Spark大版本、Scala版本任意一项不匹配，就会出现FileFormat接口的inferSchema方法找不到的异常。

解决步骤 #

• 第一步：先确认运行环境的版本匹配
  执行以下命令查看当前Spark的版本和对应的Scala编译版本：

  spark-submit --version
  

  严格按照org.apache.spark:spark-avro_${SCALA_VERSION}:${SPARK_VERSION}的格式匹配依赖包版本，比如输出显示Spark为3.3.0、Scala版本为2.12，依赖包就需要替换为org.apache.spark:spark-avro_2.12:3.3.0。
• 第二步：简化Avro读取的格式配置
  Spark 2.4及以上版本官方支持直接用avro作为格式标识，不需要写全限定类名，避免类名写错的问题，修改代码如下：

  spark = SparkSession \
      .builder \
      .appName("app") \
      .getOrCreate()
  
  avro_data = spark.read \
      .format("avro") \
      .load("avro-to-orc-jobs/association-complete-rebuild/avro")
  

• 第三步：清理冲突依赖
  删掉你之前放到venv/lib/pythonx/site-packages/jars目录下的spark-avro包，避免多版本依赖冲突，提交作业时优先通过--packages参数拉取匹配版本的依赖，也可以添加参数清空ivy缓存避免本地旧包干扰：

  venv/bin/spark-submit --conf spark.jars.ivy=/tmp/ivy_temp --packages 匹配后的spark-avro包坐标 avro-to-orc-jobs/association-complete-rebuild/JobRunner.py
  

• 可选临时方案：跳过schema自动推断
  如果版本暂时无法对齐，可以手动指定Avro schema，避免触发inferSchema逻辑：

  # 替换为你实际的Avro schema字符串
  avro_schema = """{"type":"record","name":"test","fields":[{"name":"id","type":"int"}]}"""
  avro_data = spark.read \
      .format("avro") \
      .option("avroSchema", avro_schema) \
      .load("avro-to-orc-jobs/association-complete-rebuild/avro")
  

内容的提问来源于stack exchange，提问作者Ryan