如何根据Spark运行版本自动加载对应版本的spark-avro依赖jar包

前置准备 #

• 提前下载全版本spark-avro Jar包存放至团队统一的本地公共目录，比如/opt/public-spark-deps/spark-avro/，当前需存放的文件如下：
  • spark-avro_2.12-3.1.2.jar
  • spark-avro_2.12-3.2.0.jar
    后续新增支持的Spark版本，仅需要将对应版本的Jar包放入该目录即可，无需修改适配逻辑

通用加载逻辑实现 #

普通Spark作业提交场景 #

使用包装脚本封装spark-submit提交逻辑，用户直接调用包装脚本提交作业即可，无需手动指定依赖：

1. 脚本中先通过命令获取当前环境Spark版本：
   SPARK_VERSION=$(spark-submit --version 2>&1 | grep -oP 'version \K[0-9]+\.[0-9]+\.[0-9]+')
2. 拼接对应版本的Jar包完整路径：
   AVRO_JAR="/opt/public-spark-deps/spark-avro/spark-avro_2.12-${SPARK_VERSION}.jar"
3. 调用原生spark-submit，自动注入--jars参数：
   spark-submit --jars ${AVRO_JAR} "$@"

pytest-spark测试场景 #

在项目的conftest.py中定义SparkSession fixture，自动适配版本加载依赖，无需测试用户修改用例代码：

import pyspark
import pytest
from pyspark.sql import SparkSession

@pytest.fixture(scope="session")
def spark():
    # 读取当前环境Spark版本
    spark_version = pyspark.SparkContext._gateway.jvm.org.apache.spark.SPARK_VERSION
    # 拼接对应版本依赖路径
    avro_jar_path = f"/opt/public-spark-deps/spark-avro/spark-avro_2.12-{spark_version}.jar"
    # 初始化SparkSession时自动配置依赖
    return SparkSession.builder \
        .config("spark.jars", avro_jar_path) \
        .appName("pytest-avro-test") \
        .getOrCreate()

方案优势 #

• 完全对用户透明，无需用户手动判断Spark版本、指定依赖包路径
• 同时兼容命令行作业提交和pytest单元测试两种场景
• 扩展性强，新增Spark版本仅需补充对应Jar包到公共目录即可

内容的提问来源于stack exchange，提问作者surj