在AWS Glue中通过PySpark使用JDBC驱动遇错求助

核心问题梳理 #

需要在AWS Glue（含交互式Notebook）中通过PySpark的JDBC方式访问多个MySQL数据库，避开原生连接器的限制，但遇到两类错误：

• 本地Glue容器：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
• Glue平台：Py4JJavaError: ... Communications link failure

以下是针对性的解决步骤：

一、驱动加载的正确操作 #

1. 废弃错误的加载方式 #

• 不要使用sc.addPyFile()：该方法仅用于加载Python脚本/模块，无法加载JDBC的Java驱动包。
• 修正魔法命令：Glue Notebook中需使用%extra_jars（单下划线）而非%extra__jar，格式为：

  %extra_jars s3://your-bucket/path/mysql-connector-j-8.3.0.jar
  

2. 不同场景的驱动加载方案 #

• Glue交互式Notebook：
  优先通过%conf魔法命令全局配置，避免代码中重复加载：

  %conf spark.jars=s3://your-bucket/path/mysql-connector-j-8.3.0.jar
  

  若需在代码中加载，使用：

  spark._jsc.addJar("s3://your-bucket/path/mysql-connector-j-8.3.0.jar")
  

• Glue批处理作业：
  无需在代码中配置，直接在作业配置的作业参数中添加：

  --extra-jars s3://your-bucket/path/mysql-connector-j-8.3.0.jar
  

  注意：不要自行创建SparkSession，Glue会自动初始化适配环境的上下文，自定义Session会覆盖平台参数导致异常。

二、本地Glue容器的ClassNotFoundException解决 #

1. 驱动类名与版本匹配 #

MySQL Connector/J 8.x版本的驱动类名已更新为com.mysql.cj.jdbc.Driver，com.mysql.jdbc.Driver是5.x版本的类名，8.x已废弃，必须替换为新类名。

2. 本地容器驱动加载验证 #

• 本地调试时，可直接将驱动包挂载到容器的Spark jars目录，避免S3访问问题：

  docker run -v /local/path/mysql-connector-j-8.3.0.jar:/opt/spark/jars/mysql-connector-j-8.3.0.jar <glue-container-image>
  

• 确保容器内的Spark版本与云端Glue版本一致，避免版本不兼容。

三、Glue平台的Communications link failure解决 #

该错误本质是网络/权限问题，而非驱动加载失败：

1. 网络连通性配置 #

• 确保Glue作业/Notebook配置了正确的VPC、子网和安全组：
  • 安全组需允许Glue访问MySQL实例的3306端口；
  • 若MySQL在私有子网，Glue所在子网需配置NAT网关以打通网络；
  • 若MySQL在公网，需确保Glue具备公网访问权限（或MySQL安全组允许Glue的IP段）。

2. JDBC URL参数修正 #

8.x驱动需指定时区，否则会因时区不匹配导致连接失败，补充serverTimezone参数：

url = f"jdbc:mysql://{host}/?zeroDateTimeBehavior=convertToNull&serverTimezone=UTC"

3. 权限与访问验证 #

• 确认MySQL用户拥有所有目标数据库的访问权限，可通过同VPC内的测试机器用MySQL客户端连接验证；
• 避免明文存储密码，使用Glue KMS存储密钥，通过boto3调用get_secret_value获取密码。

四、正确的JDBC读取代码示例 #

# 若使用Notebook，先执行%extra_jars或%conf配置驱动路径
# spark._jsc.addJar("s3://your-bucket/path/mysql-connector-j-8.3.0.jar")

host = "your-mysql-host"
user = "your-mysql-user"
pwd = "your-mysql-password"
# 跨数据库查询示例
sql_query = "SELECT * FROM db1.table1 UNION ALL SELECT * FROM db2.table2"

df = spark.read \
    .format("jdbc") \
    .option("url", f"jdbc:mysql://{host}/?zeroDateTimeBehavior=convertToNull&serverTimezone=UTC") \
    .option("driver", "com.mysql.cj.jdbc.Driver") \
    .option("dbtable", f"({sql_query}) t") \
    .option("user", user) \
    .option("password", pwd) \
    .option("fetchsize", "1000") \
    .load()

df.show()

额外注意事项 #

• 确保驱动包版本统一，不要混合使用5.x和8.x版本；
• Glue作业的IAM角色需具备S3驱动包的s3:GetObject权限；
• 跨数据库查询时，可在SQL子查询中明确指定数据库名，无需在URL中固定单数据库。

内容的提问来源于stack exchange，提问作者Lucas Advir